Műszaki ÚTMUTATÓ

GPTQ és AWQ edzés utáni kvantálás

A GPTQ és az AWQ a két vezető módszer a már betanított nyelvi modellek 4 bites pontosságra való zsugorítására, így olcsóbb, kisebb hardveren futnak.

Hallgassa meg ezt az útmutatótAI-narrált · ~2 min

Ezen az oldalon2 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A GPTQ és az AWQ edzés utáni kvantálás jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Ezért futtathat egy alkalmas modellt egyetlen fogyasztói GPU-n adatközponti rack helyett.

Mély merülés

A tréning utáni kvantálás (PTQ) a kész modellt újraképzés nélkül tömöríti, nagy pontosságú súlyokat leképezve 4 bitre a memória nagyjából negyedére. A kihívás abban rejlik, hogy ezt a roncsolási pontosság nélkül tegyük. A GPTQ (az OBQ finomítása) rétegről rétegre kvantálja a súlyokat, egy kis kalibrációs adatkészletből származó másodrendű információkat használva a fennmaradó súlyok beállításához és az egyes kerekítési hibák kompenzálásához. Az AWQ (Activation-aware Weight Quantization) más szemszögből néz: megfigyeli, hogy a súlycsatornák egy kis része aránytalanul fontos, az aktiválási nagyságok alapján azonosítható, és védi ezeket a kiemelkedő csatornákat méretezéssel, nem pedig agresszív kvantálással. Mindkettő lehetővé teszi a Llama-hoz hasonló modellek 4 bites futtatását, és az olyan eszközök, mint a vLLM, llama.cpp és az AutoGPTQ, általánossá tették őket a helyi és költséghatékony következtetések érdekében.

Valós megvalósítás

Egy 70 milliárd paraméterű Llama modell futtatása egyetlen 24 GB-os fogyasztói GPU-n 4 bites GPTQ súlyozással.

Az AWQ-kvantizált modellek nagy átviteli sebességgel szolgáltak a vLLM-ben a költséghatékony gyártási API-k érdekében.

llama.cpp kvantált GGUF-súlyok használatával nyelvi modellek helyi futtatásához laptop CPU-n.

A Hugging Face AutoGPTQ és AutoAWQ könyvtárai lehetővé teszik a fejlesztők számára, hogy a letöltött modellt néhány sornyi kóddal kvantáljuk.

A GPTQ és az AWQ edzés utáni kvantálás jövője

A kvantálás 4 bit alá tolja a 3 bites, 2 bites és vegyes pontosságú sémákat, gyakran ritkasággal kombinálva. Várható szorosabb kapcsolat a kiszolgáló motorokkal, hogy a kvantálás, a KV-gyorsítótár tömörítése és a spekulatív dekódolás együtt működjön. Az alacsony bites formátumok, például az NVFP4 és az MXFP4 hardveres támogatása fejlődik, és az automatizált eszközök egyre inkább rétegenkénti bitszélességet választanak. Az általános cél a majdnem veszteségmentes 4 bites (és alacsonyabb) alapértelmezés, így az erős modellek olcsón használhatók mindenhol.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the GPTQ and AWQ Post-Training Quantization quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a GPTQ és AWQ edzés utáni kvantálás?

A GPTQ és az AWQ a két vezető módszer a már betanított nyelvi modellek 4 bites pontosságra való zsugorítására, így olcsóbb, kisebb hardveren futnak. Ezért futtathat egy alkalmas modellt egyetlen fogyasztói GPU-n adatközponti rack helyett.

Mit jelent a „képzés utáni kvantálás”?

Az edzés utáni kvantálás csökkenti a kész modell súlyozásának pontosságát (például 4 bitre), anélkül, hogy a nulláról újra betanítaná.

Milyen információkat használ fel a GPTQ a kerekítési hibák kompenzálására a kvantálás során?

A GPTQ hozzávetőleges Hessian-t használ annak megértésére, hogy egy súly kvantálása hogyan befolyásolja a veszteséget, majd módosítja a fennmaradó súlyokat a kompenzáció érdekében.

Milyen kulcsfontosságú betekintés ösztönzi az AWQ-t (az aktiválás-tudatos súlykvantizálást)?

Az AWQ aktiválási nagyságrendekkel azonosítja a kiemelkedő súlycsatornákat, és skálázással védi őket, mivel néhány csatorna aránytalanul számít.

Körülbelül mennyi memóriát takarít meg a 4 bites kvantálás a 16 bites súlyokkal szemben?

A súlyonkénti 16 bitről 4 bitre való váltás körülbelül negyedére csökkenti a súlymemóriát, ami nagyjából 4-szeres csökkenést jelent.

Miért általában a GPTQ és az AWQ is számszerűsíti a súlyokat, de az aktiválásokat nagyobb pontossággal tartja?

A súlyok jelentik a fő memóriaköltséget, míg az aktiválások érzékenyebbek a precíziós veszteségre, így a csak súly szerinti kvantálás a gyakori édes pont.