DalšíDalší průvodce
Aktivační řízení a reprezentační inženýrství
Technický
Technický PRŮVODCE
SmoothQuant je technika, která umožňuje komprimovat velké jazykové modely až na 8bitová celá čísla pro váhy i aktivace bez přeškolování.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Záleží na tom, protože aktivace ve velkých modelech obsahují extrémní odlehlé hodnoty, které normálně ničí málo přesnou matematiku, a SmoothQuant je zkrotí.
Když zmenšíte model z 16bitových plovoucích na 8bitová celá čísla, váhy se snadno komprimují, ale aktivace jsou potíže: některé kanály nesou hodnoty 10 až 100krát větší než ostatní a jejich vynucení do hrubé celočíselné mřížky ničí přesnost. SmoothQuant, představený Xiao et al. v roce 2022 poznamenává, že váhy jsou hladké a snadno se kvantifikují, zatímco aktivace jsou špičaté. Takže matematicky migruje obtížnost: rozdělí aktivační kanály měřítkem pro každý kanál a vynásobí odpovídající váhy stejným měřítkem. Dvě operace se zruší a výstup modelu zůstane nezměněn, ale nyní oba tenzory sedí v přátelských rozsazích. Výsledkem je závěr W8A8 (8bitové váhy a aktivace) s téměř nulovou ztrátou přesnosti a zhruba dvojnásobným zrychlením a úsporou paměti.
Poskytování LLM s parametrem 70B na W8A8 na menším počtu GPU snížením nákladů na paměť i matici na polovinu
Povolení inference INT8 na tenzorových jádrech NVIDIA Hopper/Blackwell, která nativně zrychlují 8bitovou celočíselnou matematiku
Nasazení modelů chatu na koncových bodech cloudu s omezenými náklady, kde zdvojnásobení propustnosti přímo snižuje účet za token
Kompresní transformátorové kodéry pro řeč nebo překlad na zařízení, kde 8bitová jádra běží rychleji a chladněji
SmoothQuant zjistil, že aktivační odlehlé hodnoty jsou spíše migrovatelné než nevyhnutelné, a tato myšlenka nyní podporuje produkční poskytování INT8 a FP8. Očekávejte, že vyhlazování bude kombinováno s jemnějšími schématy, jako je kvantování po skupinách, naučené škálování a 4bitový aktivační výzkum (např. metody s vědomím odlehlých hodnot). Jak hardware FP8 (Hopper, Blackwell) dospívá, vyrovnávání ve stylu vyhlazování se bude nadále zapracovávat do potrubí kompilátoru a inferenčního motoru, takže kvantizace zůstává téměř bezplatná.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
SmoothQuant je technika, která umožňuje komprimovat velké jazykové modely až na 8bitová celá čísla pro váhy i aktivace bez přeškolování. Záleží na tom, protože aktivace ve velkých modelech obsahují extrémní odlehlé hodnoty, které normálně ničí málo přesnou matematiku, a SmoothQuant je zkrotí.
SmoothQuant se zaměřuje na velké odlehlé hodnoty, které se objevují v určitých aktivačních kanálech, které jinak ničí přesnost, když jsou aktivace kvantizovány na 8 bitů.
Rozděluje aktivační kanály měřítkem pro každý kanál a násobí odpovídající váhy tímto měřítkem, takže součin se nezmění, ale oba tenzory se snáze kvantifikují.
W8A8 označuje 8bitovou kvantizaci pro váhy (W) i aktivace (A), režim SmoothQuant umožňuje s minimální ztrátou přesnosti.
Vyhlazovací stupnice jsou předem složeny do závaží předchozí vrstvy nebo fúzované operace, takže při odvození nedochází k žádným dalším výpočtům.
Alfa (běžně 0,5) vyrovnává faktor vyhlazování a rozhoduje, jak velká část obtížnosti kvantizace se přesune z aktivací na závaží.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Aktivační řízení a reprezentační inženýrství
Technický