LegközelebbKövetkező útmutató
Befolyásolási függvények a képzési adatok hozzárendeléséhez
Műszaki
Műszaki ÚTMUTATÓ
A GPTQ és az AWQ a két vezető módszer a már betanított nyelvi modellek 4 bites pontosságra való zsugorítására, így olcsóbb, kisebb hardveren futnak.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Ezért futtathat egy alkalmas modellt egyetlen fogyasztói GPU-n adatközponti rack helyett.
A tréning utáni kvantálás (PTQ) a kész modellt újraképzés nélkül tömöríti, nagy pontosságú súlyokat leképezve 4 bitre a memória nagyjából negyedére. A kihívás abban rejlik, hogy ezt a roncsolási pontosság nélkül tegyük. A GPTQ (az OBQ finomítása) rétegről rétegre kvantálja a súlyokat, egy kis kalibrációs adatkészletből származó másodrendű információkat használva a fennmaradó súlyok beállításához és az egyes kerekítési hibák kompenzálásához. Az AWQ (Activation-aware Weight Quantization) más szemszögből néz: megfigyeli, hogy a súlycsatornák egy kis része aránytalanul fontos, az aktiválási nagyságok alapján azonosítható, és védi ezeket a kiemelkedő csatornákat méretezéssel, nem pedig agresszív kvantálással. Mindkettő lehetővé teszi a Llama-hoz hasonló modellek 4 bites futtatását, és az olyan eszközök, mint a vLLM, llama.cpp és az AutoGPTQ, általánossá tették őket a helyi és költséghatékony következtetések érdekében.
Egy 70 milliárd paraméterű Llama modell futtatása egyetlen 24 GB-os fogyasztói GPU-n 4 bites GPTQ súlyozással.
Az AWQ-kvantizált modellek nagy átviteli sebességgel szolgáltak a vLLM-ben a költséghatékony gyártási API-k érdekében.
llama.cpp kvantált GGUF-súlyok használatával nyelvi modellek helyi futtatásához laptop CPU-n.
A Hugging Face AutoGPTQ és AutoAWQ könyvtárai lehetővé teszik a fejlesztők számára, hogy a letöltött modellt néhány sornyi kóddal kvantáljuk.
A kvantálás 4 bit alá tolja a 3 bites, 2 bites és vegyes pontosságú sémákat, gyakran ritkasággal kombinálva. Várható szorosabb kapcsolat a kiszolgáló motorokkal, hogy a kvantálás, a KV-gyorsítótár tömörítése és a spekulatív dekódolás együtt működjön. Az alacsony bites formátumok, például az NVFP4 és az MXFP4 hardveres támogatása fejlődik, és az automatizált eszközök egyre inkább rétegenkénti bitszélességet választanak. Az általános cél a majdnem veszteségmentes 4 bites (és alacsonyabb) alapértelmezés, így az erős modellek olcsón használhatók mindenhol.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A GPTQ és az AWQ a két vezető módszer a már betanított nyelvi modellek 4 bites pontosságra való zsugorítására, így olcsóbb, kisebb hardveren futnak. Ezért futtathat egy alkalmas modellt egyetlen fogyasztói GPU-n adatközponti rack helyett.
Az edzés utáni kvantálás csökkenti a kész modell súlyozásának pontosságát (például 4 bitre), anélkül, hogy a nulláról újra betanítaná.
A GPTQ hozzávetőleges Hessian-t használ annak megértésére, hogy egy súly kvantálása hogyan befolyásolja a veszteséget, majd módosítja a fennmaradó súlyokat a kompenzáció érdekében.
Az AWQ aktiválási nagyságrendekkel azonosítja a kiemelkedő súlycsatornákat, és skálázással védi őket, mivel néhány csatorna aránytalanul számít.
A súlyonkénti 16 bitről 4 bitre való váltás körülbelül negyedére csökkenti a súlymemóriát, ami nagyjából 4-szeres csökkenést jelent.
A súlyok jelentik a fő memóriaköltséget, míg az aktiválások érzékenyebbek a precíziós veszteségre, így a csak súly szerinti kvantálás a gyakori édes pont.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Befolyásolási függvények a képzési adatok hozzárendeléséhez
Műszaki