Nyelvi AI ÚTMUTATÓ

QLoRA és 4 bites finomhangolás

A QLoRA egy olyan technika, amely lehetővé teszi egy hatalmas nyelvi modell finomhangolását egyetlen fogyasztói GPU-n úgy, hogy a fagyasztott modellt súlyonként mindössze 4 bitben tárolja.

Hallgassa meg ezt az útmutatótAI-narrált · ~2 min

Ezen az oldalon2 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A QLoRA és a 4 bites finomhangolás jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Lehetővé tette a 65B-s paraméterű modellek testreszabását olyan hardveren, amely korábban csak ennek a méretű modelleknek a töredékét tudta kezelni.

Mély merülés

Általában egy nagy modell finomhangolása azt jelenti, hogy minden súlyt 16 bites pontossággal kell betölteni, és mindegyiket frissíteni kell, ami óriási memóriát igényel. A QLoRA két ötletet egyesít. Először is lefagyasztja az előképzett modellt, és 4 bitre kvantálja, nagyjából négyszeresére csökkentve a memóriát. Másodszor, LoRA-t használ: az óriási súlymátrixok frissítése helyett apró, betanítható alacsony rangú adaptermátrixokat fecskendez melléjük, így csak néhány millió paraméter frissül. A 4 bites alap rögzített marad, míg a színátmenetek csak a kis adaptereken keresztül áramlanak. A Dettmers és munkatársai által 2023-ban bevezetett QLoRA megmutatta, hogy egy 65B modell egyetlen 48 GB-os GPU-n történő finomhangolása megfelel a teljes 16 bites finomhangolás minőségének.

Valós megvalósítás

Egy induló vállalkozás finomhangolja a 70B Llama modellt egyetlen 48 GB-os GPU-n, hogy saját márkájú hangon ügyféltámogatási asszisztenst építsen anélkül, hogy szerverfürtöt bérelne.

Egy kutató egy fogyasztói RTX 4090-el egy nyitott modellt egyik napról a másikra adaptál egy szűk körű orvosi kérdések megválaszolására szolgáló adatkészlethez.

Egy fejlesztő több tucat kis, cserélhető LoRA-adaptert hoz létre különböző feladatokhoz, amelyek mindegyike megosztja a memóriába betöltött 4 bites alapmodellt.

A hobbibarátok az ingyenes Colab-minőségű hardver segítségével finomhangolják a modellt a személyes csevegési naplóikban, hogy utánozzák az adott írási stílust.

A QLoRA és a 4 bites finomhangolás jövője

A 4 bites finomhangolás bevett gyakorlattá vált, és a kutatás most még alacsonyabb pontosság felé törekszik, beleértve a 2 bites és az 1 bites (hármas) reprezentációkat is. Az újabb kvantálási sémák, mint például az AWQ, GPTQ és HQQ tovább finomítják a pontosságot, míg az olyan technikák, mint a QA-LoRA, arra törekszenek, hogy a modellt még az adapterek összevonása után is kvantáljuk. A nyitott súlyú modellek növekedésével elvárható, hogy az olyan szerszámok rutinszerűvé váljanak, amelyek lehetővé teszik a hobbibarátok 70B-plusz modellek finomhangolását egyetlen játék GPU-n, ami demokratizálja a testreszabást.

A gyakorlatba ültetés

Miért számít

  • Sebesség és méretarány. A nyelvi munkafolyamatok gyorsabban haladhatnak a következetesség feláldozása nélkül.
  • Hozzáférés és elérés. Kibővíti a hozzáférést a nyelvek és a kommunikációs stílusok között.
  • Tisztább döntések. A csapatok több időt tölthetnek az ítélkezéssel, míg az automatizálás kezeli az ismétlést.

Vigyázz

  • A hallucinált tények csendben bekerülhetnek a jelentésekbe, a támogatási folyamatokba vagy a kutatási eredményekbe.
  • Az azonnali érzékenység inkonzisztens eredményeket eredményezhet a hasonló kérések között.
  • Ha a hozzáférés-szabályozás gyenge, az érzékeny szöveges adatok megjelenhetnek.

Következő lépések

  1. A kiadás előtt határozza meg a kimeneti formátumot, hangszínt és minőségi szabványokat.
  2. Földelje a válaszokat megbízható forrásokból, amikor a pontosság számít.
  3. Tartson emberi ellenőrzési pontot a nagy tétű kimenetekhez.
  4. Kövesse nyomon a meghibásodási mintákat, és rendszeresen tanítsa át az utasításokat vagy a munkafolyamatokat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the QLoRA and 4-Bit Fine-Tuning quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a QLoRA és a 4 bites finomhangolás?

A QLoRA egy olyan technika, amely lehetővé teszi egy hatalmas nyelvi modell finomhangolását egyetlen fogyasztói GPU-n úgy, hogy a fagyasztott modellt súlyonként mindössze 4 bitben tárolja. Lehetővé tette a 65B-s paraméterű modellek testreszabását olyan hardveren, amely korábban csak ennek a méretű modelleknek a töredékét tudta kezelni.

Mi az alapvető memóriatakarékossági ötlet a QLoRA „4 bites” része mögött?

A QLoRA a lefagyott előképzett súlyokat 4 bit értékben tárolja, ami nagyjából négyszeresére csökkenti a memóriát a 16 biteshez képest.

A QLoRA finomhangolása során mely paraméterek frissülnek ténylegesen a gradiens süllyedéssel?

Az alapmodell lefagyott; csak a beinjektált alacsony rangú adaptermátrixok kapnak gradiensfrissítést, ami a paramétereknek csak egy töredéke.

Mi az NF4 a QLoRA kontextusában?

Az NF4 (NormalFloat 4-bit) egy adattípus, amelyet a neurális hálózatok súlyainak haranggörbe eloszlása ​​köré terveztek a sima int4-nél jobb pontosság érdekében.

Milyen problémát oldanak meg a QLoRA-ban a „lapozott optimalizálók”?

Paged optimizers use NVIDIA unified memory to page optimizer states between GPU and CPU memory as needed; the QLoRA paper says this helps manage memory spikes and reduce out-of-memory risk during long-sequence fine-tuning.

Mikor konvertálják vissza a 4 bites súlyokat nagyobb pontosságra az edzés során?

During a matrix multiplication, quantized weights are dequantized on the fly to a higher-precision compute dtype (for example, BF16 or FP16 in QLoRA configurations); the temporary higher-precision values are not stored as a full base-model copy.