SmoothQuant ati Iṣatunṣe Quantization
SmoothQuant jẹ ilana kan ti o jẹ ki o ṣee ṣe lati compress awọn awoṣe ede nla si isalẹ si awọn odidi 8-bit fun awọn iwuwo mejeeji ati awọn iṣẹ ṣiṣe laisi atunṣeto.
Akopọ
It matters because activations in big models contain extreme outliers that normally wreck low-precision math, and SmoothQuant tames them.
Jin Dive
Nigbati o ba dinku awoṣe lati 16-bit lilefoofo si awọn odidi 8-bit, awọn iwuwo rọra ni irọrun ṣugbọn awọn iṣẹ ṣiṣe jẹ wahala: awọn ikanni kan gbe awọn iye 10 si awọn akoko 100 ti o tobi ju iyoku lọ, ati fipa wọn sinu akoj odidi odidi ti o bajẹ jẹ otitọ. SmoothQuant, ti a ṣe nipasẹ Xiao et al. ni 2022, ṣe akiyesi pe awọn iwuwo jẹ dan ati rọrun lati ṣe iwọn lakoko ti awọn iṣẹ ṣiṣe jẹ spiky. Nitorinaa o ṣiṣiṣi iṣoro naa ni mathematiki: o pin awọn ikanni imuṣiṣẹ nipasẹ iwọn-ikanni kan ati ki o ṣe isodipupo awọn iwuwo ti o baamu nipasẹ iwọn kanna. Awọn iṣẹ meji naa fagile, nlọ abajade awoṣe ko yipada, ṣugbọn nisisiyi awọn tenors mejeeji joko ni awọn sakani ọrẹ. Abajade jẹ itọkasi W8A8 (awọn iwọn 8-bit ati awọn iṣẹ ṣiṣe) pẹlu isonu deede-odo ati isunmọ iyara 2x ati awọn ifowopamọ iranti.
Imọ-imọ-ẹrọ
Awọn mojuto omoluabi ni a fun-ikanni smoothing ifosiwewe s iṣiro bi s = max (| X|) ^ alpha / max (| W |) ^ (1-alpha). Awọn iṣẹ ṣiṣe jẹ iwọn nipasẹ 1/s ati awọn iwuwo nipasẹ s, nitorinaa ọja matrix XW ti wa ni ipamọ. Nitori wiwọn naa ti gba aisinipo sinu awọn iwuwo Layer ti tẹlẹ tabi iṣẹ ti o dapọ, o ṣafikun idiyele akoko asiko odo. Alfa hyperparameter (nigbagbogbo 0.5) n ṣakoso iye ẹru ti o ga julọ ti n yipada lati awọn imuṣiṣẹ sori awọn iwuwo.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ọjọ iwaju ti SmoothQuant ati Quantization Muu ṣiṣẹ
SmoothQuant ti fi idi rẹ mulẹ pe awọn itusilẹ imuṣiṣẹ jẹ aṣikiri kuku ju eyiti ko ṣee ṣe, ati pe imọran ni bayi ṣe atilẹyin iṣelọpọ INT8 ati iṣẹ iranṣẹ FP8. Reti didin lati ni idapo pelu awọn ero-ọgbọn ti o dara julọ bii pipo ẹgbẹ-ẹgbẹ, iwọn ikẹkọ, ati iwadii imuṣiṣẹ 4-bit (fun apẹẹrẹ awọn ọna ti o mọ-jade). Bii ohun elo FP8 (Hopper, Blackwell) ti dagba, iwọntunwọnsi-ara imudara yoo ma wa ni ndin sinu alakojọ ati awọn opo gigun ti ẹrọ inferantor nitorinaa titobi duro ni ọfẹ.
Real-World imuse
Nṣiṣẹ LLM paramita 70B ni W8A8 lori awọn GPU diẹ nipa dida iranti mejeeji ati iye owo matrix-pupọ.
Muu INT8 ṣiṣẹ lori awọn ohun kohun ti NVIDIA Hopper/Blackwell ti o mu mathematiki odidi 8-bit pọ si ni abinibi.
Gbigbe awọn awoṣe iwiregbe sori awọn aaye ipari awọsanma ti o ni idiyele idiyele nibiti ilojade ilọpo meji yoo ge owo-owo-ami kan taara
Awọn oluyipada ẹrọ iyipada fun titẹ ọrọ lori ẹrọ tabi itumọ nibiti awọn kernels 8-bit nṣiṣẹ yiyara ati tutu
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the SmoothQuant and Activation Quantization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Iṣiṣẹ Iṣiṣẹ ati Oniduro Engineering
Awọn ibeere ti a beere nigbagbogbo
What is SmoothQuant and Activation Quantization?
SmoothQuant jẹ ilana kan ti o jẹ ki o ṣee ṣe lati compress awọn awoṣe ede nla si isalẹ si awọn odidi 8-bit fun awọn iwuwo mejeeji ati awọn iṣẹ ṣiṣe laisi atunṣeto. O ṣe pataki nitori awọn imuṣiṣẹ ni awọn awoṣe nla ni awọn itusilẹ to gaju ti o bajẹ mathematiki-konge deede, ati SmoothQuant ṣe itọ wọn.
Isoro wo ni SmoothQuant koju pataki ni itọkasi-konge kekere?
SmoothQuant fojusi awọn iye ti o tobi ju ti o han ni awọn ikanni imuṣiṣẹ kan, eyiti bibẹẹkọ ba jẹ deede nigbati awọn iṣẹ ṣiṣe ba di awọn iwọn 8.
Bawo ni SmoothQuant ṣe jẹ ki awọn iṣẹ ṣiṣe rọrun lati ṣe iwọn bi?
O pin awọn ikanni imuṣiṣẹ nipasẹ iwọn-ikanni kan ati ki o ṣe isodipupo awọn iwuwo ti o baamu nipasẹ iwọn yẹn, nitorinaa ọja naa ko yipada ṣugbọn awọn tenors mejeeji di rọrun lati ṣe iwọn.
Kini ami akiyesi W8A8 tumọ si?
W8A8 tọkasi iwọn 8-bit fun awọn iwuwo mejeeji (W) ati awọn iṣẹ ṣiṣe (A), ijọba SmoothQuant n ṣiṣẹ pẹlu pipadanu deedee iwonba.
Kini idi ti igbelowọn SmoothQuant ṣe afikun ni pataki ko si akoko ṣiṣe ni oke?
Awọn irẹjẹ didan ni a ṣe pọ sinu awọn iwuwo Layer ti iṣaaju tabi op ti a dapọ ṣaaju akoko, nitorinaa ko si iṣiro afikun ti o ṣẹlẹ ni itọkasi.
Ipa wo ni alpha hyperparameter ṣe ni SmoothQuant?
Alpha (ti o wọpọ 0.5) ṣe iwọntunwọnsi ifosiwewe didin, pinnu iye ti iṣoro titobi ni a gbe kuro ni awọn iṣẹ ṣiṣe ati sori awọn iwuwo.