Nchịkọta
SmoothQuant bụ usoro na-eme ka o kwe omume ịpịkọta nnukwu ụdị asụsụ ruo 8-bit integers maka ma ọ̀tụ̀tụ̀ ịdị arọ na n'arụ ọrụ na-abụghị ọzụzụ. Ọ dị mkpa n'ihi na ịgbalite na nnukwu ụdị nwere ihe dị oke egwu nke na-emebikarị mgbakọ na mwepụ dị ala, yana SmoothQuant na-azụ ha.
SmoothQuant na Activation Quantization bụ ngọngọ ụlọ ọrụ nka nke na-emetụta ịdịmma nlereanya, ọnụ ahịa akụrụngwa, nkwụsịtụ, na ntụkwasị obi n'ọ̀tụ̀tụ̀.
Ime miri emi
Mgbe ị na-ebelata ihe nlereanya site na 16-bit na-ese n'elu ruo 8-bit integers, ịdị arọ na-agbakọ ngwa ngwa ma ọrụ ọrụ bụ nsogbu: ụfọdụ ọwa na-ebu ụkpụrụ 10 ruo 100 ugboro karịa ndị ọzọ, na ịmanye ha n'ime grid integer na-adịghị mma na-ebibi izi ezi. SmoothQuant, nke Xiao et al webatara. na 2022, na-achọpụta na arọ dị ire ụtọ na mfe quantize mgbe activation bụ spiky. Ya mere ọ na mgbakọ na mwepụ na-akwaga ihe isi ike: ọ na-ekewa ọwa ịgbalite site na ọnụọgụ ọwa ọ bụla ma na-amụba nha kwekọrọ n'otu nha. Ọrụ abụọ ahụ kagburu, na-ahapụ mmepụta ihe nlereanya agbanweghị, ma ugbu a ma tenors na-anọdụ ala na enyi enyi. Nsonaazụ bụ W8A8 (8-bit weights and activations) inference na nso-efu ziri ezi ọnwụ na ihe enyemaka 2x ọsọ ọsọ na nchekwa nchekwa.
Nghọta nka nka
Isi aghụghọ bụ ihe na-eme ka ọ bụrụ ọwa na-agbakọ dị ka s = max (| X|) ^ alpha / max (| W |) ^ (1-alpha). A na-eji 1/s tụọ ihe nrụ ọrụ yana ihe ọ̀tụ̀tụ̀ site na s, ya mere a na-echekwa ngwaahịa matrix XW. N'ihi na a na-etinye ihe nchacha ahụ na-anọghị n'ịntanetị n'ime ihe dị arọ nke oyi akwa gara aga ma ọ bụ ọrụ ejikọtara ọnụ, ọ na-agbakwunye ọnụ ahịa oge efu efu. Alfa hyperparameter (mgbe 0.5) na-achịkwa ole ibu dịpụrụ adịpụ na-agbanwe site na ịgbalite gaa n'ịdị arọ.
Ịkwalite SmoothQuant na Ịkwalite ọrụ
SmoothQuant bụ usoro na-eme ka o kwe omume ịpịkọta nnukwu ụdị asụsụ ruo 8-bit integers maka ma ọ̀tụ̀tụ̀ ịdị arọ na n'arụ ọrụ na-abụghị ọzụzụ. Ọ dị mkpa n'ihi na ịgbalite na nnukwu ụdị nwere ihe dị oke egwu nke na-emebikarị mgbakọ na mwepụ dị ala, yana SmoothQuant na-azụ ha. SmoothQuant na Activation Quantization bụ ngọngọ ụlọ ọrụ nka nke na-emetụta ịdịmma nlereanya, ọnụ ahịa akụrụngwa, nkwụsịtụ, na ntụkwasị obi n'ọ̀tụ̀tụ̀. Iji wuo nghọta miri emi, na-emeso SmoothQuant na Activation Quantization dị ka ihe nlere anya na-arụ ọrụ, ọ bụghị otu njirimara: kọwaa nsonaazụ achọrọ, dokwuo anya echiche, wee kewaa ihe sistemụ nwere ike ime nke ọma na ihe ka chọrọ mkpebi ndị ọkachamara.
Na omume, otu ndị siri ike na-eji SmoothQuant na Activation Quantization na-ebuli ụkpụrụ ụlọ, data na akụrụngwa megide ntụkwasị obi na ọnụ ahịa. Ha na-edepụta njirisi ịga nke ọma nke ọma, nwalee megide data ziri ezi yana usoro ọrụ, yana na-atụgharị dabere na usoro ọdịda ahụrụ karịa karịa mmeri otu oge. Nke a bụ ebe nghọta usoro ihe atụ na-atụgharị ka ọ bụrụ ike na-adịgide adịgide gafee ngwaahịa, amụma na arụmọrụ.
Mkpebi ihe owuwu ụlọ na-akwalite arụmọrụ yana ọnụ ahịa ọrụ ruo ọtụtụ afọ. N'otu oge ahụ, ịkwalite otu akara ngosi nwere ike zoo adịghị ike sistemụ sara mbara. Ụzọ kachasị na-agbanwe agbanwe bụ ijikọ ọsọ nnwale na ịdọ aka ná ntị ọchịchị: ndị na-anya ụgbọ elu, ijide ihe akaebe, bipụta ndekọ mkpebi, na na-aga n'ihu na-emelite nchekwa dị ka omume nlereanya, atụmanya ndị ọrụ, na ihe iwu chọrọ.
Mmetụta Strategic
Mkpebi ihe owuwu ụlọ na-akwalite arụmọrụ yana ọnụ ahịa ọrụ ruo ọtụtụ afọ.
Mkpebi ihe owuwu ụlọ na-akwalite arụmọrụ yana ọnụ ahịa ọrụ ruo ọtụtụ afọ. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Nkà mmụta nka na-enyere ndị otu egwuregwu aka ịhọrọ nchịkọta ziri ezi, ọ bụghị naanị nke kachasị ọhụrụ.
Nkà mmụta nka na-enyere ndị otu egwuregwu aka ịhọrọ nchịkọta ziri ezi, ọ bụghị naanị nke kachasị ọhụrụ. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Nhọrọ injinia ka mma na-ebelata ihe omume ntụkwasị obi na mmepụta.
Nhọrọ injinia ka mma na-ebelata ihe omume ntụkwasị obi na mmepụta. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Mmejuputa n'ezie n'ụwa
Ije ozi 70B-parameter LLM na W8A8 na GPU ole na ole site na ibelata ma ebe nchekwa na matriks-na-amụba ọnụ ahịa
Na-eme ka ntinye aka INT8 na NVIDIA Hopper/Blackwell tensor cores nke na-eme ka mgbakọ na mwepụ 8-bit dị ngwa ngwa.
Na-ebunye ụdị nkata na njedebe igwe ojii na-amachibido ọnụ ahịa ebe ntinye ntinye okpukpu abụọ na-ebipụ ụgwọ ụgwọ otu-token ozugbo.
Na-akpakọ ihe ngbanwe mgbanwe maka okwu ma ọ bụ ntụgharị ngwaọrụ na ngwaọrụ ebe kernel 8-bit na-agba ọsọ ọsọ na oyi.
Usoro mmejuputa
Quantization SmoothQuant na Activation na omume
Ije ozi 70B-parameter LLM na W8A8 na GPU ole na ole site na ibelata ma ebe nchekwa na matriks-ịba ụba.
Ije ozi 70B-parameter LLM na W8A8 na GPU ole na ole site n'ịkwụsị ma ebe nchekwa na matrix-na-amụba ọnụ ahịa Otu egwuregwu na-enwetakarị nsonaazụ ka mma mgbe ha kọwapụtara ọnụ ụzọ dị mma n'ihu, debe ụzọ mmụba mmadụ maka ikpe ọnụ, ma soro ma uru nrụpụta na ụgwọ njehie n'ime oge.
Quantization SmoothQuant na Activation na omume
Na-eme ka ntinye aka INT8 na NVIDIA Hopper/Blackwell tensor cores nke na-eme ka mgbakọ na mwepụ 8-bit dị ngwa ngwa.
Ịkwado ntinye aka INT8 na NVIDIA Hopper/Blackwell tensor cores nke na-eme ngwa ngwa 8-bit integer math Teams na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ dịkwuo elu maka ikpe ikpe, ma soro ma uru mmepụta na ụgwọ njehie na oge.
Quantization SmoothQuant na Activation na omume
Na-ebuga ụdị nkata na njedebe igwe ojii na-amachibido ọnụ ahịa ebe ntinye ntinye okpukpu abụọ na-ebipụ ụgwọ otu-token ozugbo.
Na-ebuga ụdị nkata na njedebe igwe ojii na-egbochi ọnụ ahịa ebe ọnụọgụ abụọ na-ebelata kpọmkwem ụgwọ ụgwọ otu-token Otu dị iche iche na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ na-arịwanye elu maka ikpe ikpe, ma soro ma uru nrụpụta na ụgwọ njehie na oge.
Quantization SmoothQuant na Activation na omume
Na-akpakọ ihe ngbanwe mgbanwe maka okwu ma ọ bụ ntụgharị ngwaọrụ na ngwaọrụ ebe kernel 8-bit na-agba ọsọ ọsọ na oyi.
Compressing transformer encoders maka okwu ma ọ bụ ntụgharị ngwaọrụ na ngwaọrụ ebe kernels 8-bit na-agba ọsọ ngwa ngwa yana ndị na-ajụ oyi na-enwetakarị nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, debe ụzọ mmụba mmadụ maka ikpe ọnụ, ma soro ma uru nrụpụta yana ụgwọ njehie n'ime oge.
Ihe ize ndụ & okporo ụzọ nche
Ịkwalite otu akara ngosi nwere ike zoo adịghị ike sistemụ sara mbara.
A na-eledakarị ihe akụrụngwa na ụgwọ ọrụ anya.
Ọdịiche nchekwa na nleba anya nwere ike itolite ka sistemu na-adịwanye mgbagwoju anya.
Map mmejuputa
Kọwaa latency, ịdịmma na ebumnuche ọnụ ahịa tupu mmejuputa ya.
Kọwaa latency, ịdịmma na ebumnuche ọnụ ahịa tupu mmejuputa ya. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Benchmark n'okpuru ibu dị adị na ọnọdụ data.
Benchmark n'okpuru ibu dị adị na ọnọdụ data. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Nleba anya akụrụngwa maka mperi, ịkpafu na mmetụta onye ọrụ.
Nleba anya akụrụngwa maka mperi, ịkpafu na mmetụta onye ọrụ. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Kwadebe ụzọ nzaghachi azụghachi azụ na ihe omume tupu ịchachaa.
Kwadebe ụzọ nzaghachi azụghachi azụ na ihe omume tupu ịchachaa. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.