GPTQ iyo AWQ Tirinta Tababarka Kadib
GPTQ iyo AWQ waa laba hab oo horseed u ah in la dhimo moodooyinka luqadda hore loo tababaray ee saxda ah ee 4-bit si ay ugu shaqeeyaan qalab ka jaban oo yar.
Dulmar
They are why you can run a capable model on a single consumer GPU instead of a datacenter rack.
quusid qoto dheer
Qiyaasta tababarka ka dib (PTQ) waxay cadaadisaa moodal dhammaatay iyada oo aan dib loo tababarin, iyada oo sawiraysa miisaanyo sax ah oo hooseeya ilaa 4 bits ilaa qiyaas ahaan rubuc xusuusta. Caqabadda ayaa ah samaynta tan iyada oo aan la burburin saxnaanta. GPTQ (sifayn OBQ) waxay ku qiyaastaa lakabka miisaanka lakabka, iyada oo la isticmaalayo macluumaadka dalabka labaad ee xogta kaydinta yar si loo hagaajiyo miisaanka hadhay oo loo magdhabo khalad kasta oo wareeg ah. AWQ (Activation-oware Weight Quantization) waxay qaadataa xagal kale: waxay eegaysaa in qayb yar oo ka mid ah kanaalada miisaanka ay yihiin kuwo aan si dheellitirnayn oo muhiim ah, oo lagu garto iyadoo la eegayo baaxadda firfircoonida, oo waxay ilaalisaa kanaaladaas saliimka ah iyada oo miisaanaysa halkii ay si adag u tirin lahayd. Labaduba waxay u oggolaadaan moodooyinka sida Llama inay ku shaqeeyaan 4-bit, iyo aaladaha ay ka midka yihiin vLLM, llama.cpp, iyo AutoGPTQ waxay ka dhigeen kuwa guud ee gudaha iyo kharashka waxtarka leh.
Aragtida Farsamada
GPTQ waxay isticmaashaa qiyaasta Hessian-ka (qallooca khasaaraha) si ay u go'aansato sida isku-duubnida hal miisaan ay tahay inay u nuujiso kuwa kale, iyadoo yaraynaysa khaladka la soo bandhigay. AWQ gabi ahaanba way ka booddaa Hessians: waxay xisaabinaysaa halbeeg kasta oo kanaalka ah si kanaalada miisaanka muhiimka ah ay u ilaashadaan saxnimadooda wax ku ool ah, ka dibna si isku mid ah u qiyaasa. Labaduba waxay ku hayaan firfircoonida si sax ah oo kaliya waxayna isku cadaadiyaan miisaanka, maadaama miisaanyadu ay xukumaan xusuusta halka kicinta firfircoonida ay u egtahay inay dhaawacdo saxnaanta.
Saamaynta Istiraatijiyadeed
Qiimaha iyo miisaaniyada
Go'aamada qaab-dhismeedku waxay horseedaan waxqabadka iyo kharashka hawlgalka sannadaha.
Go'aamo cad
Waxbarashada farsamada waxay ka caawisaa kooxaha inay doortaan xidhmo sax ah, ma aha oo kaliya kan ugu cusub.
Xakamaynta tayada
Doorashooyinka injineernimada ee wanaagsan waxay yareeyaan shilalka la isku halleyn karo ee wax soo saarka.
Mustaqbalka GPTQ iyo AWQ Tirinta Tababarka Kadib
Tiro-ururintu waxa ay hoos u riixaysaa 4-bit dhinaca 3-bit, 2-bit, iyo qorshayaal sax ah oo isku-dhafan, oo inta badan lagu daray il-baxnimo. Filo isku xidhka dhow ee matoorada u adeega si loo qiyaaso, KV-cache compression, iyo dejinta koodka mala awaalka ah ayaa wada shaqeynaya. Taageerada qalabka ee qaababka yar yar sida NVFP4 iyo MXFP4 waa bislaaday, iyo qalabyada otomaatiga ah ayaa si sii kordheysa u dooran doona ballacyada lakabka kasta. Hadafka ballaadhan waa 4-bit (iyo hoose) oo aan khasaare lahayn u dhow sida caadiga ah, samaynta moodooyinka xooggan ee jaban si loogu adeego meel kasta.
Dhaqangelinta Adduunka-dhabta ah
Ku socodsiinta moodeel 70-bilyan-beeg-beeg ah Llama oo ku socda hal macaamiil 24 GB GPU ah iyadoo la adeegsanayo miisaanka 4-bit GPTQ.
Moodooyinka AWQ-la qiyaasey waxay u adeegeen wax-soo-saar sare oo vLLM ah API-yada wax soo saarka waxtarka leh.
llama.cpp iyada oo la adeegsanayo miisaannada GGUF ee la qiyaasay si loogu socodsiiyo moodooyinka luqadda gudaha gudaha CPU laptop.
Hugging Face's AutoGPTQ iyo AutoAWQ maktabadaha u ogolaanaya horumariyayaashu in ay qiyaasaan qaabka la soo dejiyay dhowr sadar oo kood ah.
Khatarta & Dariiqyada Ilaalada
Hagaajinta hal bartilmaameed waxay qarin kartaa daciifnimada nidaamka ballaaran.
Kaabayaasha dhaqaalaha iyo dayactirka inta badan waa la dhayalsadaa.
Nabadgelyada iyo daldaloolada u fiirsashada ayaa kori kara marka nidaamyadu noqdaan kuwo aad u adag.
Qorshe Hawleedka Dhaqangelinta
Qeex daahida, tayada, iyo bartilmaameedyada qiimaha ka hor inta aan la hirgelin.
Benchmark marka la eego culeyska dhabta ah iyo xaaladaha xogta.
La socodka qalabka khaladaadka, leexashada, iyo saamaynta isticmaalaha.
U diyaari dib-u-noqoshada iyo dariiqyada jawaab-celinta dhacdada ka hor inta aanad miisaan.
Sii wad Sahaminta
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the GPTQ and AWQ Post-Training Quantization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hagaha xiga
Saamaynta Hawlaha Sifaynta Xogta Tababarka
Su'aalaha soo noqnoqda
What is GPTQ and AWQ Post-Training Quantization?
GPTQ iyo AWQ waa laba hab oo horseed u ah in la dhimo moodooyinka luqadda hore loo tababaray ee saxda ah ee 4-bit si ay ugu shaqeeyaan qalab ka jaban oo yar. Waa sababta aad ugu wadi karto moodal karti leh hal macaamiil GPU halkii aad ka isticmaali lahayd kaydinta xogta.
Waa maxay macnaha 'Tirada-tababarka ka dib'?
Qiyaasta tababarka ka dib waxay yaraynaysaa saxnaanta miisaanka moodeelka la dhammeeyay (tusaale, ilaa 4 bits) iyada oo aan dib looga tabobarayn xoqan.
Waa maxay macluumaadka uu GPTQ u isticmaalo si uu u kabo khaladaadka soo koobida marka la xisaabinayo?
GPTQ waxay isticmaashaa Hessian qiyaas ah si ay u fahanto sida qiyaasida hal miisaan ay u saamayso lumitaanka, ka dibna u hagaajiso miisaanka hadhay si loo magdhabo.
Waa maxay aragtida muhiimka ah ee dhaqaajisa AWQ (Qorinta Miisaanka Dhaqdhaqaaqa og)?
AWQ waxay aqoonsataa kanaalada miisaanka saliimka ah iyadoo adeegsanaysa cabbirka firfircoonida waxayna ku ilaalisaa iyaga oo isticmaalaya miisaan, maadaama dhowr kanaal ay si aan qiyaas lahayn u shaqeeyaan.
Qiyaastii intee in le'eg ayaa xusuusta ay 4-bit tireed u badbaadisaa marka loo eego miisaanka 16-bit?
Ka noqoshada 16 bits ilaa 4 bits miisaankiiba waxay dhimaysaa xusuusta miisaanka ilaa rubuc, qiyaas ahaan dhimis 4x ah.
Maxay GPTQ iyo AWQ labaduba caadi ahaan u cabbiraan miisaanka laakiin ay hawl-qabadyadu si sax ah ugu hayaan?
Miisaanka ayaa ah qiimaha ugu weyn ee xusuusta, halka firfircoonida ay aad ugu nugul yihiin luminta saxda ah, sidaas awgeed miisaan-kaliya miisaanku waa meesha macaan ee caadiga ah.