Műszaki ÚTMUTATÓ

SmoothQuant és aktiválási kvantálás

A SmoothQuant egy olyan technika, amely lehetővé teszi a nagy nyelvi modellek 8 bites egész számokra történő tömörítését mind súlyozás, mind aktiválás céljából, átképzés nélkül.

Hallgassa meg ezt az útmutatótAI-narrált · ~2 min

Ezen az oldalon2 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A SmoothQuant és az aktivációs kvantálás jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Ez azért fontos, mert a nagy modelleknél az aktiválások szélsőséges kiugró értékeket tartalmaznak, amelyek általában tönkreteszik az alacsony pontosságú matematikát, és a SmoothQuant megszelídíti őket.

Mély merülés

Ha egy modellt 16 bites lebegtetésről 8 bites egészekre zsugorít, a súlyozások könnyen tömörülnek, de az aktiválások gondot okoznak: bizonyos csatornák 10-100-szor nagyobb értékeket hordoznak, mint a többiek, és durva egész rácsra kényszerítése tönkreteszi a pontosságot. SmoothQuant, amelyet Xiao et al. 2022-ben megfigyeli, hogy a súlyok egyenletesek és könnyen kvantifikálhatók, míg az aktiválások tüskések. Tehát matematikailag migrálja a nehézséget: az aktiválási csatornákat csatornánkénti skálával osztja el, és a megfelelő súlyokat ugyanazzal a skálával szorozza meg. A két művelet törlődik, így a modell kimenete változatlan marad, de most mindkét tenzor barátságos tartományban van. Az eredmény a W8A8 (8 bites súlyozások és aktiválások) következtetés, közel nulla pontossági veszteséggel és nagyjából 2-szeres gyorsítással és memóriamegtakarítással.

Valós megvalósítás

70B-paraméteres LLM kiszolgálása a W8A8-nál kevesebb GPU-n a memória és a mátrixszorzó költségek felére csökkentésével

Az INT8 következtetés engedélyezése az NVIDIA Hopper/Blackwell tenzormagokon, amelyek natívan gyorsítják a 8 bites egész matematikát

Csevegési modellek telepítése költségkorlátozott felhővégpontokon, ahol az átviteli sebesség megkétszerezése közvetlenül csökkenti a tokenenkénti számlát

Transzformátorkódolók tömörítése az eszközön belüli beszédhez vagy fordításhoz, ahol a 8 bites kernelek gyorsabban és hűvösebben futnak

A SmoothQuant és az aktivációs kvantálás jövője

A SmoothQuant megállapította, hogy az aktiválási kiugró értékek inkább migrálhatók, mint elkerülhetetlenek, és ez az ötlet most az éles INT8 és FP8 kiszolgálás alapja. Várható, hogy a simítást olyan finomabb szemcsés sémákkal kombinálják, mint a csoportonkénti kvantálás, a tanult skálázás és a 4 bites aktiválási kutatás (pl. outlier-aware módszerek). Ahogy az FP8 hardver (Hopper, Blackwell) kifejlődik, a simító-stílusú kiegyensúlyozás folyamatosan beépül a fordító és a következtetési motor folyamataiba, így a kvantálás szinte ingyenes marad.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the SmoothQuant and Activation Quantization quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a SmoothQuant és az aktiválási kvantálás?

A SmoothQuant egy olyan technika, amely lehetővé teszi a nagy nyelvi modellek 8 bites egész számokra történő tömörítését mind súlyozás, mind aktiválás céljából, átképzés nélkül. Ez azért fontos, mert a nagy modelleknél az aktiválások szélsőséges kiugró értékeket tartalmaznak, amelyek általában tönkreteszik az alacsony pontosságú matematikát, és a SmoothQuant megszelídíti őket.

Milyen problémával foglalkozik a SmoothQuant az alacsony pontosságú következtetések során?

A SmoothQuant megcélozza az egyes aktiválási csatornákban megjelenő nagy kiugró értékeket, amelyek egyébként tönkreteszik a pontosságot, amikor az aktiválásokat 8 bitesre kvantáljuk.

Hogyan teszi könnyebbé a SmoothQuant az aktiválások kvantálását?

Az aktiválási csatornákat csatornánkénti skálával osztja fel, és az egyező súlyokat ezzel a skálával megszorozza, így a szorzat változatlan marad, de mindkét tenzort könnyebben kvantálni lehet.

Mit jelent a W8A8 jelölés?

A W8A8 8 bites kvantálást jelent mind a súlyozáshoz (W), mind az aktiváláshoz (A), a SmoothQuant rendszer minimális pontossági veszteséggel tesz lehetővé.

Miért nem növeli a SmoothQuant skálázása lényegében futási többletköltséget?

A simító mérlegeket az előző réteg súlyaiba vagy egy olvasztott műveletbe hajtogatják idő előtt, így nem történik extra számítás a következtetésnél.

Milyen szerepet játszik az alfa hiperparaméter a SmoothQuantban?

Az alfa (általában 0,5) kiegyenlíti a simítási tényezőt, és eldönti, hogy a kvantálási nehézség mekkora része kerül át az aktiválásokból a súlyozásra.