Ci bi mu melGis bi ci topp
Ingénieur de Direction ak Representation
Xarala
GUIDE teknik
SmoothQuant ak jëfandikoo limu
SmoothQuant xarala la buy may ñu mëna kompresse modeli làkk yu yaatu wàcci ba ci 8-bit integers ngir poids ak activation yépp te kenn du leen tàggataat.
Déglul tegtal biiIA-nettali · ~2 min
Ci xët wii2 simili jàng
Résumé
Dafa am solo ndax aktivaasioŋ yi ci model yu mag yi dañuy àndaale ak ay outlier yu tar yuy yàq math bu woyof, te SmoothQuant daf leen di yar.
Plongeur bu xóot
Soo wàññi benn model ci 16-bit floats dem ba 8-bit integers, poid yi dañuy kompresse ci anam wu yomb waaye activation yi dañuy jafe: yenn chaine yi dañuy yor valeur yu gëna mag 10 ba 100 yoon yeneen yi, te forse leen ñu dugg ci griy integer bu dëgër dafay yàq njub. SmoothQuant, Xiao ak ñeneen ñoo ko dugal. ci 2022, dafa gis ni diisaay yi dañu nooy te yomb nañu xayma ci jamono ji activation yi dañu spiky. Kon ci wàllu math, dafay toxal jafe-jafe bi: dafay xaaj chaine de activation yi ci balance bu chaine bu nekk, ba noppi yokk poid yi ko méngoo ci benn balance bi. Ñaari jëf yooyu dañuy fomm, bàyyi génnug model bi te soppikuwul, waaye leegi ñaari tensor yi dañu toog ci diggante yu xaritoo. Resultaa bi mooy W8A8 (8-bit poids ak activations) inference ak ñàkka am njubte bu jege-zero ak lu tollu ci 2x gaawaay ak sakkanal mémoire.
Doxal ci àdduna dëgg
Liggéeyukaay LLM bu 70B ci W8A8 ci GPU yu néew ci xaaj mémoire bi ak njëgu matrix bi
Aktiwise INT8 ci kaw NVIDIA Hopper/Blackwell core tensor yiy gaawlu math 8-bit
Taxawal ay xeetu waxtaan ci kaw poñ yu mujj yu niir yu am njëg yu bari, fu ñaari yoon li ñuy def di dagg faktiiru token bu nekk
Komprime encodeur transformateur ngir wax ci biir aparey wala tekki fu kernel 8-bit di dox di gëna gaaw te gëna sedd
Ëlëgu SmoothQuant ak jëfandikoo limu
SmoothQuant dafa wane ni outliers yiy tàmbali mën nañu dem, duñu mëna moytu, te xalaat boobu mooy gëna dooleel liggéey INT8 ak FP8. Xaarandil ñu boole nooy ak ay pexe yu gëna am pepp yu melni kwantasioŋ ci grupu bu nekk, eskaal buñ jàng, ak gëstub aktivasioŋ 4-bit (lu melni pexe yu xam-xam). Bi aparey FP8 (Hopper, Blackwell) di màgg, xeetu ekilibre bu nooy dina wéy di lakk ci biir compilatër ak pipeline motëru inferensi suko defee kantite bi nekk daanaka amul benn njariñ.
Teg ko ci jëf
Lu tax mu am solo
- Njëgg ak budget. Dogal yi architecture di jël dañuy indi njariñ ak njëgu liggéey bi ay at ci ginaaw.
- dogal yu gëna leer. Njàngalem xarala yi dafay jàppale ekip yi ñu tànn li gën, te baña yam ci li gëna bees daal.
- Xool kalite. Tanneef yu gëna baax ci wàllu ingeñër dina wàññi jafe-jafe yi ci wàllu wóor ci liggéey bi.
Moytul
- Optimize benn benchmark mën na nëbb ñakk kattan yu gëna yaatu ci sistem bi.
- Njëg li ñuy fay ci infrastructure yi ak ci toppatoo dañuy faral di suufeel.
- Bu sistem yi di gëna xawa jafee xam, jafe-jafe yi am ci wàllu kaaraange ak seetlu mën nañu gëna bari.
Jéego yi ci topp
- Mandargal latency, kalite, ak njëg yi laata ngay jëfandikoo.
- Benchmark ci biir sargal ak done yu dëggu.
- Jumtukaay bi di saytu njuumte yi, derive bi ak njeextalu jëfandikukat bi.
- Waajal rollback ak yooni tontu ci jafe-jafe yi laata ngay eskale.
Weyal di banneexu
Bulletin bu amul fayda
Jàngal xibaar AI bu bes
Ñatti jaar-jaari IA yuñ firndeel bis bu nekk ci ayu-bis bi, ñu bind leen ci Àngle bu leer. Gratis ba fàww, amul yëgle.
Benn email bis bu nekk ci ayu-bis bi. Benn klik nga dindi abonemaa bi. Dunu musa jaay wala séddoo sa adres.
Nattal sa bopp
Take the SmoothQuant and Activation Quantization quiz
Feedback ci saasi ci bépp tontu, ak sertifikaa buñ mëna séddoo ak ID buñ mëna saytu soo jàllee ci njàng mi.
Jàppale njàngum IA te doo fay. AI Understanding mbootaay la buy def te Yàlla tax — amul yëgle, amul paywall, musul am. Defal ab sarax
Laaj yi ñuy faral di laaj
Luy SmoothQuant ak limu jëfandikoo?
SmoothQuant xarala la buy may ñu mëna kompresse modeli làkk yu yaatu wàcci ba ci 8-bit integers ngir poids ak activation yépp te kenn du leen tàggataat. Dafa am solo ndax aktivaasioŋ yi ci model yu mag yi dañuy àndaale ak ay outlier yu tar yuy yàq math bu woyof, te SmoothQuant daf leen di yar.
Ban jafe-jafe la SmoothQuant di wax ci inference bu woyof?
SmoothQuant dafay xool valeur yu mag yi feeñ ci yenn chaine de activation, luko moy dina yàq njubte gi sudee activation yi dañu leen quantifié ci 8 bits.
naka lay def ba SmoothQuant gëna yombal limu nit ñi?
Dafay xaaj chaine de activation ci balance bu chaine bu nekk, ba noppi di yokk poids yi méngoo ci balance boobu, suko defee produit bi du soppeeku waaye ñaari tenseur yi dañuy gëna yomba quantifier.
Luy tekki ci notaasioŋ W8A8?
W8A8 dafay màndargaal 8-bit ci kantite ngir ñaari poid yi (W) ak aktivasioŋ yi (A), regime SmoothQuant bi dafay may ak ñàkka am njubte bu néew.
Lan moo waral scaling SmoothQuant du yokk benn coût ci kaw runtime bi?
Balance yu nooy yi dañu leen di boole ci diisaayu couche bi njëkk wala op fused bi njëkk, kon amul benn calcul bu gëna am solo ci inference bi.
Ban cër la hiperparametru alfa di def ci SmoothQuant?
Alpha (dafay faral di nekk 0.5) dafay ekilibre facteur smoothing bi, di xool ba ñaata ci jafe-jafe quantisation bi ñuy toxal ci activation yi ak ci poids yi.
Weyal di jàng
Gid yu jëm ci loolu
Tann nañu yeneen njiit ngir topic bii