Lu xew
Benn preprint bu Ehsan Jokar bind, joxe ko arXiv ci 25 ut 2026, dafay jàngat coppite yi ci gasoduc quantification 4-bit yu am modelu làkk bu yaatu. Dafay formalise limu tuddee "Inversion bu Mag": codage transform classique dafay bëgg energie siñaal buñ dajale, ci noonu la quantisation bu ñuy jëfandikoo dafay gëna am njariñ ci dajale valeur yi ci biir groupe bu nekk balaa ñuy wër.
Ehsan Jokar moo ko joxe ci 25 ut 2026. Dafay xoole bu baax ci coppite yi ñuy jëfandikoo ci modeli làkk yu mag yi balaa ñuy boole seeni poid wala seeni aktivasioŋ ci misaali bit yu woyof. Këyit dafa wax ni pipeline gëstu yu bari yu am 4 bit dañuy njëkka jëfandikoo ab liggéey bu ligneer, buy baña yàq fonction yi - lu melni wëlbatiku, escalier, permutation wala soppi affine bu amul orthogonal - ngir yombal xayma valeur yi. Liñu wax ni mooy indi coppite ci etape bi, bi bindkat bi wax ni musu ñu joxe benn laaj ak tontu buñ jagleel ko.
Xalaatu amal këyit bi mooy "Inversion bu Mag bi." Ci kodage transform classique, sistem bi mën na decorreler ab source, xaaj ay limu bit yu wuute ci ay coordonnée yu wuute ba noppi xayma leen. Ci biir mébet bu yomb biñ mëna xaaj, balluwaay bi dafa wax ni dajale energie mën na wàññi jafe-jafe yi; dafay joxe soppi Karhunen-Loeve muy resultaa bi gëna kawe ci ab balluwaay bu Gaussian. Këyit dafay wuutale lii ak benn carreau operand matrix-instruction buñ jëfandikoo benn echel absolu-maximum ngir groupe bu nekk ak yaatuwaayu bit yu tolloo ci groupe bi yépp. Ci biir tënk googu, mébet biñ wax mooy ñu gëna yamale valeur yi ci biir benn grupu, muy résultat bu këyit bi boole ak ñàkka méngoo bu Hadamard.
Jokar neena oppositioŋ bi mën nañu ko formalise ci biir grupu majorisation te firndeel ni bépp recette amna ndimmbal ci mébetam, ci noonu la amul benn optimalité buy garanti transfert ci seen biir ngir spectre generic. Ginaaw loolu këyit wi dafay yokk formaa nimero muy ñaareelu axe jëmmal. Dafa wax ni griy FP4 bu amul benn yoon dafay wàññi njariñu flattening, ni MXFP4's power-of-two block scale ba leegi dafay bëgg rotations yu tëju ci block bi, te NVFP4's mantissa-carrying scale dafay dindi bu baax fitna boobu. Rapport yi ñu njëkka imprime dañu xool 200 liggéey ba weeru suwe 2026, di xaaj 43 pexe yu ñuy soppi ci structure, xam-xam done, ndax ñu ngi leen seet wala ñu tabax, njëgu runtime ak, fi ñu ko rapoor, seen boole ak GPTQ rounding.
Ay leeral ci cosaan: arxiv.org ↗
Lu tax mu am solo
Li gëna am solo ci këyit bi mooy ni nekkul ci benn coppite bu gëna baax ci àdduna. Tann ci biir wëréel yi, eskaal yi, weccoo yi ak yeneen coppite yuy baña yàq fonction yi mën nañu soxla leeral ci formaa nimero bi ak sàrti grupu yiñ jëfandikoo ci inference bi.
Jafe-jafe bi am ci jëfandikoo gi mooy njëg bi ak wóor gi ci doxal modeli làkk yu yaatu ak arithmétik bu woyof. Wàññi njubte ci nimero mën na tax inference model bi gëna dëgër wala gëna am njariñ, waaye source bi dafa leer ni anam wi ñuy soppi a ngi aju ci ni ñuy boolee valeur yi ak ni ñuy scale. Coppite buy jàppale ci benn sàrtu kantite mën na baña joxe benn njariñ ci beneen sàrt. Loolu mooy tegtal bu am njariñ ci gëstukat yi ak insiñër yi ndax dafay jàppee kantite ni algorithm-ak-format bu ñu boole, te baña nekk ay xeeti pexe yuñ mëna weccoo.
Tegtale formaa këyit bi dafay jox argument bi njariñu jëfandikoo gi. FP4, MXFP4 ak NVFP4 nekkul ay etiket yuñ mëna weccoo ngir nimero yu am ñeenti bit: surnaal bi dafa wax ni seeni jumtukaayi eskaal dañuy sos ay xeetu stimulation yu wuute ci ni ñu wara raññee valeur yi balaa ñuy wër. Sudee wax ji dafa mucc ci test bi, defarkati model yi mën nañu soxla tànn wala defar ay coppite ci wetu formaa hardware biñ bëgga, moo gën ñu njëkka tànn coppite ba noppi jàpp ni dina toxal. Benn xalaat bi mën na tax itam méngale këyitu kantite yi gëna tar sudee dañu jëfandikoo dayo grupu yu wuute, sàrti eskaal wala griy numérik.
Li gëna am solo mooy li ñuy jàppale ci tekki ak méngale liggéey yi fi nekk. Du, ci balluwaay biñ joxe, xamle gennup model bu bees, génne liggéey, yokkute ci njub wala benn njuréef. Du wane itam ni anam yi ñu laaj dañuy dox bu baax ci famiy model yi, liggéey yi wala aparey yi. Bataaxelu këyit bi boppam ni amul benn garanti bu baax ci toxal spectre generik, lu am solo la: theorie bi dafay xàmmee mébet yuy joŋante, waaye dindiwul soxla natt ci barab bi benn model di doxee.
Mekanism buy weccoo xalaat: naka lay doxee
Saytu xarala yu bees yi ci ginaaw yokkute bii ci anam wu weccoo xalaat.
Which component of an AI application is the machine-learning model itself?
Li nga wara seetaan ci topp
Preprint bi ab caytu la ak jàngat theorik, du firnde ni benn coppite moo am ndam ci modelu defar yi wala hardware yi. Li am solo ci saytu bi ci topp mooy ndax wuute yi am ci test inference end-to-end yi, naka la pexe yi di amee ci njub ak runtime, ak ndax jëfandikoo yi ci kanam dañuy tax njiitu jëfandikoo gi gëna am solo.
Laaj bu njëkk bi mooy firndeg empirik. Liggéey yi ci kanam war nañu natt wuute gi am ci këyit bi diggante concentration energie ak ci biir-grupp ci architecture yu bari yu modelu làkk, configurations groupe ak liggéey yu bari. Abstract biñ joxe joxeewul njub, latency, mémoire wala resultaa energie, kon ba leegi mënu ñu xam ba ñaata la perspective bi ñu proposé di soppi dogal yi ñuy jël ci tànneef model.
Ñaareelu jafe-jafe bi mooy ndax format-specific claims yi dina ñu des ci samp gi mat sëkk. Këyit dafa wax ni dafay bind ni pexe yi di boole ak GPTQ rounding fu liggéey bi njëkk xamle xibaar boobu, waaye source bi xamul benn rëset bu ñépp bokk wala joxe ay resultaa yuñ mëna méngale. Jàngatkat yi dañu wara seet jàngat yuñ saytu yuy tëye model bi ak sargu liggéey bi ñuy soppi lenn ludul coppite bi, sàrtu eskaal bi ak formaa low-bit.
Ci gàttal, këyit dafa bàyyi ay laaj yu bari yu ubbeeku: ñaata runtime wala njëgu etalonnage la coppite bu nekk di yokk, ndax pexe yi xam done yi dañuy laaj done jëfandikukat yu representatif, ni resultaa yi di sensitif ci peggu grupu yi, ak ndax tànneef yiñ digal am nañu ci losisel inference bi gëna mag. Baamtu ak amal ay detay ñooy wane ndax jàngat bi dina nekk tegtal buy jëfandikoo wala dina des ci njëkk kàrtu theorik bu literaturu kantite.