LegközelebbKövetkező útmutató
Finomhangolás vs RAG vs Prompting
Nyelvi AI
Nyelvi AI ÚTMUTATÓ
A QLoRA egy olyan technika, amely lehetővé teszi egy hatalmas nyelvi modell finomhangolását egyetlen fogyasztói GPU-n úgy, hogy a fagyasztott modellt súlyonként mindössze 4 bitben tárolja.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Lehetővé tette a 65B-s paraméterű modellek testreszabását olyan hardveren, amely korábban csak ennek a méretű modelleknek a töredékét tudta kezelni.
Általában egy nagy modell finomhangolása azt jelenti, hogy minden súlyt 16 bites pontossággal kell betölteni, és mindegyiket frissíteni kell, ami óriási memóriát igényel. A QLoRA két ötletet egyesít. Először is lefagyasztja az előképzett modellt, és 4 bitre kvantálja, nagyjából négyszeresére csökkentve a memóriát. Másodszor, LoRA-t használ: az óriási súlymátrixok frissítése helyett apró, betanítható alacsony rangú adaptermátrixokat fecskendez melléjük, így csak néhány millió paraméter frissül. A 4 bites alap rögzített marad, míg a színátmenetek csak a kis adaptereken keresztül áramlanak. A Dettmers és munkatársai által 2023-ban bevezetett QLoRA megmutatta, hogy egy 65B modell egyetlen 48 GB-os GPU-n történő finomhangolása megfelel a teljes 16 bites finomhangolás minőségének.
Egy induló vállalkozás finomhangolja a 70B Llama modellt egyetlen 48 GB-os GPU-n, hogy saját márkájú hangon ügyféltámogatási asszisztenst építsen anélkül, hogy szerverfürtöt bérelne.
Egy kutató egy fogyasztói RTX 4090-el egy nyitott modellt egyik napról a másikra adaptál egy szűk körű orvosi kérdések megválaszolására szolgáló adatkészlethez.
Egy fejlesztő több tucat kis, cserélhető LoRA-adaptert hoz létre különböző feladatokhoz, amelyek mindegyike megosztja a memóriába betöltött 4 bites alapmodellt.
A hobbibarátok az ingyenes Colab-minőségű hardver segítségével finomhangolják a modellt a személyes csevegési naplóikban, hogy utánozzák az adott írási stílust.
A 4 bites finomhangolás bevett gyakorlattá vált, és a kutatás most még alacsonyabb pontosság felé törekszik, beleértve a 2 bites és az 1 bites (hármas) reprezentációkat is. Az újabb kvantálási sémák, mint például az AWQ, GPTQ és HQQ tovább finomítják a pontosságot, míg az olyan technikák, mint a QA-LoRA, arra törekszenek, hogy a modellt még az adapterek összevonása után is kvantáljuk. A nyitott súlyú modellek növekedésével elvárható, hogy az olyan szerszámok rutinszerűvé váljanak, amelyek lehetővé teszik a hobbibarátok 70B-plusz modellek finomhangolását egyetlen játék GPU-n, ami demokratizálja a testreszabást.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A QLoRA egy olyan technika, amely lehetővé teszi egy hatalmas nyelvi modell finomhangolását egyetlen fogyasztói GPU-n úgy, hogy a fagyasztott modellt súlyonként mindössze 4 bitben tárolja. Lehetővé tette a 65B-s paraméterű modellek testreszabását olyan hardveren, amely korábban csak ennek a méretű modelleknek a töredékét tudta kezelni.
A QLoRA a lefagyott előképzett súlyokat 4 bit értékben tárolja, ami nagyjából négyszeresére csökkenti a memóriát a 16 biteshez képest.
Az alapmodell lefagyott; csak a beinjektált alacsony rangú adaptermátrixok kapnak gradiensfrissítést, ami a paramétereknek csak egy töredéke.
Az NF4 (NormalFloat 4-bit) egy adattípus, amelyet a neurális hálózatok súlyainak haranggörbe eloszlása köré terveztek a sima int4-nél jobb pontosság érdekében.
Paged optimizers use NVIDIA unified memory to page optimizer states between GPU and CPU memory as needed; the QLoRA paper says this helps manage memory spikes and reduce out-of-memory risk during long-sequence fine-tuning.
During a matrix multiplication, quantized weights are dequantized on the fly to a higher-precision compute dtype (for example, BF16 or FP16 in QLoRA configurations); the temporary higher-precision values are not stored as a full base-model copy.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Finomhangolás vs RAG vs Prompting
Nyelvi AI