SmoothQuant na Uwezeshaji wa Kuhesabu
SmoothQuant ni mbinu inayowezesha kubana miundo mikubwa ya lugha hadi nambari 8-bit kwa uzani na kuwezesha bila kujizoeza tena.
Muhtasari
It matters because activations in big models contain extreme outliers that normally wreck low-precision math, and SmoothQuant tames them.
Dive ya kina
Unapopunguza kielelezo kutoka kwa kuelea kwa biti 16 hadi nambari 8-bit, uzani hubana kwa urahisi lakini uanzishaji ni shida: chaneli fulani hubeba maadili mara 10 hadi 100 zaidi kuliko zingine, na kuzilazimisha kwenye gridi ya jumla mbaya huharibu usahihi. SmoothQuant, ilianzishwa na Xiao et al. mnamo 2022, inaona kuwa uzani ni laini na ni rahisi kukadiria ilhali uwezeshaji ni mwingi. Kwa hivyo huhamisha ugumu kihisabati: hugawanya njia za kuwezesha kwa kipimo cha kila chaneli na kuzidisha uzani unaolingana kwa kipimo sawa. Operesheni hizi mbili zinaghairi, na kuacha pato la modeli bila kubadilika, lakini sasa tensor zote zinakaa katika safu rafiki. Matokeo yake ni W8A8 (vizito 8-bit na kuwezesha) na upotezaji wa usahihi wa karibu sufuri na takriban kasi ya 2x na uokoaji wa kumbukumbu.
Ufahamu wa Kiufundi
Ujanja wa kimsingi ni kipengele cha kulainisha cha kila kituo ambacho kimekokotwa kama s = max(|X|)^alpha / max(|W|)^(1-alpha). Uamilisho hupimwa kwa 1/s na uzani kwa s, kwa hivyo bidhaa ya matrix XW inahifadhiwa. Kwa sababu kipimo kinamezwa nje ya mtandao kwenye uzani wa safu iliyotangulia au operesheni iliyounganishwa, huongeza gharama ya muda wa matumizi sifuri. Hyperparameta ya alpha (mara nyingi 0.5) hudhibiti ni kiasi gani cha mzigo wa nje huhama kutoka kwa kuwezesha hadi uzani.
Athari za kimkakati
Cost and budget
Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
Maamuzi ya wazi zaidi
Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
Quality control
Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Mustakabali wa SmoothQuant na Ukadiriaji wa Uwezeshaji
SmoothQuant ilibaini kuwa viambajengo vya kuwezesha vinaweza kuhamishwa badala ya kuepukika, na wazo hilo sasa ndilo msingi wa uzalishaji wa INT8 na FP8. Tarajia urekebishaji kuunganishwa na mipango iliyoboreshwa zaidi kama vile kuhesabu kwa kila kikundi, kuongeza kiwango kilichojifunza, na utafiti wa kuwezesha 4-bit (k.m. mbinu zinazofahamu zaidi). Kadiri maunzi ya FP8 (Hopper, Blackwell) yanavyoendelea kukomaa, kusawazisha kwa mtindo wa kulainisha kutaendelea kuchomwa kwenye mabomba ya kikusanyaji na injini ya marejeleo ili upimaji usalie bila malipo.
Utekelezaji wa Ulimwengu Halisi
Kutumikia LLM ya parameta 70B kwa W8A8 kwenye GPU chache kwa kupunguza nusu ya gharama ya kumbukumbu na kuzidisha matrix.
Kuwasha makisio ya INT8 kwenye NVIDIA Hopper/Blackwell tensor cores ambayo asili huharakisha hesabu kamili ya biti 8
Utumiaji wa miundo ya gumzo kwenye sehemu za mwisho za wingu zilizobanwa na gharama ambapo utumaji maradufu hupunguza moja kwa moja bili ya kila tokeni.
Inabana visimbaji vya transfoma kwa matamshi ya kifaa au tafsiri ambapo kokwa 8-bit hukimbia haraka na baridi zaidi.
Hatari & Walinzi
Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Ramani ya Utekelezaji
Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
Benchmark chini ya mzigo halisi na hali ya data.
Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the SmoothQuant and Activation Quantization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Uendeshaji Uendeshaji na Uhandisi Uwakilishi
Maswali yanayoulizwa mara kwa mara
What is SmoothQuant and Activation Quantization?
SmoothQuant ni mbinu inayowezesha kubana miundo mikubwa ya lugha hadi nambari 8-bit kwa uzani na kuwezesha bila kujizoeza tena. Ni muhimu kwa sababu uanzishaji katika miundo mikubwa huwa na viambajengo vikali ambavyo kwa kawaida huharibu hesabu ya usahihi wa chini, na SmoothQuant huvidhibiti.
Ni shida gani ambayo SmoothQuant inashughulikia haswa katika uelekezaji wa usahihi wa chini?
SmoothQuant inalenga thamani kubwa za nje zinazoonekana katika baadhi ya njia za kuwezesha, ambazo vinginevyo huharibu usahihi wakati uwezeshaji unapohesabiwa kuwa biti 8.
Je, SmoothQuant hufanya vipi uwezeshaji kuwa rahisi kukadiria?
Inagawanya chaneli za kuwezesha kwa mizani ya kila kituo na kuzidisha uzani unaolingana kwa kipimo hicho, kwa hivyo bidhaa haibadiliki lakini vipimio vyote viwili huwa rahisi kukadiria.
Nini maana ya nukuu W8A8?
W8A8 inaashiria ujanibishaji wa biti 8 kwa uzani (W) na kuwezesha (A), utaratibu wa SmoothQuant huwasha kwa hasara ndogo ya usahihi.
Kwa nini kuongeza kwa SmoothQuant hakuongezei muda wa kukimbia?
Mizani ya kulainisha hukunjwa ndani ya uzani wa safu iliyotangulia au op iliyounganishwa kabla ya wakati, kwa hivyo hakuna hesabu ya ziada inayotokea kwa makisio.
Je, hyperparameta ya alfa ina jukumu gani katika SmoothQuant?
Alfa (kawaida 0.5) husawazisha kipengele cha kulainisha, ikiamua ni kiasi gani cha ugumu wa kukadiria kinachoondolewa kwenye kuwezesha na kuwekwa kwenye uzani.