InayofuataMwongozo unaofuata
Uendeshaji Uendeshaji na Uhandisi Uwakilishi
Kiufundi
MWONGOZO wa Kiufundi
SmoothQuant na Uwezeshaji wa Kuhesabu
SmoothQuant ni mbinu inayowezesha kubana miundo mikubwa ya lugha hadi nambari 8-bit kwa uzani na kuwezesha bila kujizoeza tena.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
Ni muhimu kwa sababu uanzishaji katika miundo mikubwa huwa na viambajengo vikali ambavyo kwa kawaida huharibu hesabu ya usahihi wa chini, na SmoothQuant huvidhibiti.
Dive ya kina
Unapopunguza kielelezo kutoka kwa kuelea kwa biti 16 hadi nambari 8-bit, uzani hubana kwa urahisi lakini uanzishaji ni shida: chaneli fulani hubeba maadili mara 10 hadi 100 zaidi kuliko zingine, na kuzilazimisha kwenye gridi ya jumla mbaya huharibu usahihi. SmoothQuant, ilianzishwa na Xiao et al. mnamo 2022, inaona kuwa uzani ni laini na ni rahisi kukadiria ilhali uwezeshaji ni mwingi. Kwa hivyo huhamisha ugumu kihisabati: hugawanya njia za kuwezesha kwa kipimo cha kila chaneli na kuzidisha uzani unaolingana kwa kipimo sawa. Operesheni hizi mbili zinaghairi, na kuacha pato la modeli bila kubadilika, lakini sasa tensor zote zinakaa katika safu rafiki. Matokeo yake ni W8A8 (vizito 8-bit na kuwezesha) na upotezaji wa usahihi wa karibu sufuri na takriban kasi ya 2x na uokoaji wa kumbukumbu.
Utekelezaji wa Ulimwengu Halisi
Kutumikia LLM ya parameta 70B kwa W8A8 kwenye GPU chache kwa kupunguza nusu ya gharama ya kumbukumbu na kuzidisha matrix.
Kuwasha makisio ya INT8 kwenye NVIDIA Hopper/Blackwell tensor cores ambayo asili huharakisha hesabu kamili ya biti 8
Utumiaji wa miundo ya gumzo kwenye sehemu za mwisho za wingu zilizobanwa na gharama ambapo utumaji maradufu hupunguza moja kwa moja bili ya kila tokeni.
Inabana visimbaji vya transfoma kwa matamshi ya kifaa au tafsiri ambapo kokwa 8-bit hukimbia haraka na baridi zaidi.
Mustakabali wa SmoothQuant na Ukadiriaji wa Uwezeshaji
SmoothQuant ilibaini kuwa viambajengo vya kuwezesha vinaweza kuhamishwa badala ya kuepukika, na wazo hilo sasa ndilo msingi wa uzalishaji wa INT8 na FP8. Tarajia urekebishaji kuunganishwa na mipango iliyoboreshwa zaidi kama vile kuhesabu kwa kila kikundi, kuongeza kiwango kilichojifunza, na utafiti wa kuwezesha 4-bit (k.m. mbinu zinazofahamu zaidi). Kadiri maunzi ya FP8 (Hopper, Blackwell) yanavyoendelea kukomaa, kusawazisha kwa mtindo wa kulainisha kutaendelea kuchomwa kwenye mabomba ya kikusanyaji na injini ya marejeleo ili upimaji usalie bila malipo.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Gharama na bajeti. Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
- Maamuzi ya wazi zaidi. Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
- Udhibiti wa ubora. Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Jihadharini na
- Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
- Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
- Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Hatua zinazofuata
- Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
- Benchmark chini ya mzigo halisi na hali ya data.
- Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
- Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the SmoothQuant and Activation Quantization quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
SmoothQuant na Uamilishaji Quantization ni nini?
SmoothQuant ni mbinu inayowezesha kubana miundo mikubwa ya lugha hadi nambari 8-bit kwa uzani na kuwezesha bila kujizoeza tena. Ni muhimu kwa sababu uanzishaji katika miundo mikubwa huwa na viambajengo vikali ambavyo kwa kawaida huharibu hesabu ya usahihi wa chini, na SmoothQuant huvidhibiti.
Ni shida gani ambayo SmoothQuant inashughulikia haswa katika uelekezaji wa usahihi wa chini?
SmoothQuant inalenga thamani kubwa za nje zinazoonekana katika baadhi ya njia za kuwezesha, ambazo vinginevyo huharibu usahihi wakati uwezeshaji unapohesabiwa kuwa biti 8.
Je, SmoothQuant hufanya vipi uwezeshaji kuwa rahisi kukadiria?
Inagawanya chaneli za kuwezesha kwa mizani ya kila kituo na kuzidisha uzani unaolingana kwa kipimo hicho, kwa hivyo bidhaa haibadiliki lakini vipimio vyote viwili huwa rahisi kukadiria.
Nini maana ya nukuu W8A8?
W8A8 inaashiria ujanibishaji wa biti 8 kwa uzani (W) na kuwezesha (A), utaratibu wa SmoothQuant huwasha kwa hasara ndogo ya usahihi.
Kwa nini kuongeza kwa SmoothQuant hakuongezei muda wa kukimbia?
Mizani ya kulainisha hukunjwa ndani ya uzani wa safu iliyotangulia au op iliyounganishwa kabla ya wakati, kwa hivyo hakuna hesabu ya ziada inayotokea kwa makisio.
Je, hyperparameta ya alfa ina jukumu gani katika SmoothQuant?
Alfa (kawaida 0.5) husawazisha kipengele cha kulainisha, ikiamua ni kiasi gani cha ugumu wa kukadiria kinachoondolewa kwenye kuwezesha na kuwekwa kwenye uzani.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii