LegközelebbKövetkező útmutató
Aktiválási irányítás és reprezentáció tervezése
Műszaki
Műszaki ÚTMUTATÓ
A SmoothQuant egy olyan technika, amely lehetővé teszi a nagy nyelvi modellek 8 bites egész számokra történő tömörítését mind súlyozás, mind aktiválás céljából, átképzés nélkül.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Ez azért fontos, mert a nagy modelleknél az aktiválások szélsőséges kiugró értékeket tartalmaznak, amelyek általában tönkreteszik az alacsony pontosságú matematikát, és a SmoothQuant megszelídíti őket.
Ha egy modellt 16 bites lebegtetésről 8 bites egészekre zsugorít, a súlyozások könnyen tömörülnek, de az aktiválások gondot okoznak: bizonyos csatornák 10-100-szor nagyobb értékeket hordoznak, mint a többiek, és durva egész rácsra kényszerítése tönkreteszi a pontosságot. SmoothQuant, amelyet Xiao et al. 2022-ben megfigyeli, hogy a súlyok egyenletesek és könnyen kvantifikálhatók, míg az aktiválások tüskések. Tehát matematikailag migrálja a nehézséget: az aktiválási csatornákat csatornánkénti skálával osztja el, és a megfelelő súlyokat ugyanazzal a skálával szorozza meg. A két művelet törlődik, így a modell kimenete változatlan marad, de most mindkét tenzor barátságos tartományban van. Az eredmény a W8A8 (8 bites súlyozások és aktiválások) következtetés, közel nulla pontossági veszteséggel és nagyjából 2-szeres gyorsítással és memóriamegtakarítással.
70B-paraméteres LLM kiszolgálása a W8A8-nál kevesebb GPU-n a memória és a mátrixszorzó költségek felére csökkentésével
Az INT8 következtetés engedélyezése az NVIDIA Hopper/Blackwell tenzormagokon, amelyek natívan gyorsítják a 8 bites egész matematikát
Csevegési modellek telepítése költségkorlátozott felhővégpontokon, ahol az átviteli sebesség megkétszerezése közvetlenül csökkenti a tokenenkénti számlát
Transzformátorkódolók tömörítése az eszközön belüli beszédhez vagy fordításhoz, ahol a 8 bites kernelek gyorsabban és hűvösebben futnak
A SmoothQuant megállapította, hogy az aktiválási kiugró értékek inkább migrálhatók, mint elkerülhetetlenek, és ez az ötlet most az éles INT8 és FP8 kiszolgálás alapja. Várható, hogy a simítást olyan finomabb szemcsés sémákkal kombinálják, mint a csoportonkénti kvantálás, a tanult skálázás és a 4 bites aktiválási kutatás (pl. outlier-aware módszerek). Ahogy az FP8 hardver (Hopper, Blackwell) kifejlődik, a simító-stílusú kiegyensúlyozás folyamatosan beépül a fordító és a következtetési motor folyamataiba, így a kvantálás szinte ingyenes marad.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A SmoothQuant egy olyan technika, amely lehetővé teszi a nagy nyelvi modellek 8 bites egész számokra történő tömörítését mind súlyozás, mind aktiválás céljából, átképzés nélkül. Ez azért fontos, mert a nagy modelleknél az aktiválások szélsőséges kiugró értékeket tartalmaznak, amelyek általában tönkreteszik az alacsony pontosságú matematikát, és a SmoothQuant megszelídíti őket.
A SmoothQuant megcélozza az egyes aktiválási csatornákban megjelenő nagy kiugró értékeket, amelyek egyébként tönkreteszik a pontosságot, amikor az aktiválásokat 8 bitesre kvantáljuk.
Az aktiválási csatornákat csatornánkénti skálával osztja fel, és az egyező súlyokat ezzel a skálával megszorozza, így a szorzat változatlan marad, de mindkét tenzort könnyebben kvantálni lehet.
A W8A8 8 bites kvantálást jelent mind a súlyozáshoz (W), mind az aktiváláshoz (A), a SmoothQuant rendszer minimális pontossági veszteséggel tesz lehetővé.
A simító mérlegeket az előző réteg súlyaiba vagy egy olvasztott műveletbe hajtogatják idő előtt, így nem történik extra számítás a következtetésnél.
Az alfa (általában 0,5) kiegyenlíti a simítási tényezőt, és eldönti, hogy a kvantálási nehézség mekkora része kerül át az aktiválásokból a súlyozásra.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Aktiválási irányítás és reprezentáció tervezése
Műszaki