Xiga xigaHagaha xiga
Saamaynta Hawlaha Sifaynta Xogta Tababarka
Farsamo
HAGAHA Farsamada
GPTQ iyo AWQ Tirinta Tababarka Kadib
GPTQ iyo AWQ waa laba hab oo horseed u ah in la dhimo moodooyinka luqadda hore loo tababaray ee saxda ah ee 4-bit si ay ugu shaqeeyaan qalab ka jaban oo yar.
Dhageyso hagahanAI-waa laga sheekeeyay · ~2 min
Boggaan2 daqiiqo akhri
Dulmar
They are why you can run a capable model on a single consumer GPU instead of a datacenter rack.
quusid qoto dheer
Qiyaasta tababarka ka dib (PTQ) waxay cadaadisaa moodal dhammaatay iyada oo aan dib loo tababarin, iyada oo sawiraysa miisaanyo sax ah oo hooseeya ilaa 4 bits ilaa qiyaas ahaan rubuc xusuusta. Caqabadda ayaa ah samaynta tan iyada oo aan la burburin saxnaanta. GPTQ (sifayn OBQ) waxay ku qiyaastaa lakabka miisaanka lakabka, iyada oo la isticmaalayo macluumaadka dalabka labaad ee xogta kaydinta yar si loo hagaajiyo miisaanka hadhay oo loo magdhabo khalad kasta oo wareeg ah. AWQ (Activation-oware Weight Quantization) waxay qaadataa xagal kale: waxay eegaysaa in qayb yar oo ka mid ah kanaalada miisaanka ay yihiin kuwo aan si dheellitirnayn oo muhiim ah, oo lagu garto iyadoo la eegayo baaxadda firfircoonida, oo waxay ilaalisaa kanaaladaas saliimka ah iyada oo miisaanaysa halkii ay si adag u tirin lahayd. Labaduba waxay u oggolaadaan moodooyinka sida Llama inay ku shaqeeyaan 4-bit, iyo aaladaha ay ka midka yihiin vLLM, llama.cpp, iyo AutoGPTQ waxay ka dhigeen kuwa guud ee gudaha iyo kharashka waxtarka leh.
Dhaqangelinta Adduunka-dhabta ah
Ku socodsiinta moodeel 70-bilyan-beeg-beeg ah Llama oo ku socda hal macaamiil 24 GB GPU ah iyadoo la adeegsanayo miisaanka 4-bit GPTQ.
Moodooyinka AWQ-la qiyaasey waxay u adeegeen wax-soo-saar sare oo vLLM ah API-yada wax soo saarka waxtarka leh.
llama.cpp iyada oo la adeegsanayo miisaannada GGUF ee la qiyaasay si loogu socodsiiyo moodooyinka luqadda gudaha gudaha CPU laptop.
Hugging Face's AutoGPTQ iyo AutoAWQ maktabadaha u ogolaanaya horumariyayaashu in ay qiyaasaan qaabka la soo dejiyay dhowr sadar oo kood ah.
Mustaqbalka GPTQ iyo AWQ Tirinta Tababarka Kadib
Tiro-ururintu waxa ay hoos u riixaysaa 4-bit dhinaca 3-bit, 2-bit, iyo qorshayaal sax ah oo isku-dhafan, oo inta badan lagu daray il-baxnimo. Filo isku xidhka dhow ee matoorada u adeega si loo qiyaaso, KV-cache compression, iyo dejinta koodka mala awaalka ah ayaa wada shaqeynaya. Taageerada qalabka ee qaababka yar yar sida NVFP4 iyo MXFP4 waa bislaaday, iyo qalabyada otomaatiga ah ayaa si sii kordheysa u dooran doona ballacyada lakabka kasta. Hadafka ballaadhan waa 4-bit (iyo hoose) oo aan khasaare lahayn u dhow sida caadiga ah, samaynta moodooyinka xooggan ee jaban si loogu adeego meel kasta.
Ku dhaqangelinta
Maxay muhiim u tahay
- Qiimaha iyo miisaaniyada. Go'aamada qaab-dhismeedku waxay horseedaan waxqabadka iyo kharashka hawlgalka sannadaha.
- Go'aamo cad. Waxbarashada farsamada waxay ka caawisaa kooxaha inay doortaan xidhmo sax ah, ma aha oo kaliya kan ugu cusub.
- Xakamaynta tayada. Doorashooyinka injineernimada ee wanaagsan waxay yareeyaan shilalka la isku halleyn karo ee wax soo saarka.
Iska ilaali
- Hagaajinta hal bartilmaameed waxay qarin kartaa daciifnimada nidaamka ballaaran.
- Kaabayaasha dhaqaalaha iyo dayactirka inta badan waa la dhayalsadaa.
- Nabadgelyada iyo daldaloolada u fiirsashada ayaa kori kara marka nidaamyadu noqdaan kuwo aad u adag.
Tallaabooyinka xiga
- Qeex daahida, tayada, iyo bartilmaameedyada qiimaha ka hor inta aan la hirgelin.
- Benchmark marka la eego culeyska dhabta ah iyo xaaladaha xogta.
- La socodka qalabka khaladaadka, leexashada, iyo saamaynta isticmaalaha.
- U diyaari dib-u-noqoshada iyo dariiqyada jawaab-celinta dhacdada ka hor inta aanad miisaan.
Sii wad Sahaminta
Warqad bilaash ah
Hel warbixinta maalinlaha ah ee AI
Saddex sheeko oo la xaqiijiyay oo AI ah maalin kasta oo shaqo ah, oo lagu qoray Ingiriis fudud. Bilaash had iyo jeer, aan xayaysiis lahayn.
Hal iimayl maalin kasta oo shaqo ah. Ka bax hal gujin. Marna ma iibinno ama ma wadaagno ciwaankaaga.
Is tijaabi
Take the GPTQ and AWQ Post-Training Quantization quiz
Fikrad degdeg ah oo ku saabsan jawaab kasta, iyo shahaado la wadaajin karo oo leh aqoonsi la xaqiijin karo markaad ka gudubto koorso.
Taageer waxbarashada AI bilaashka ah. AI Understanding waa 501(c)(3) aan faa'iido doon ahayn — xayaysiis la'aan, albaab lacag ah ma jiro, had iyo jeer. Samee deeq
Su'aalaha soo noqnoqda
What is GPTQ and AWQ Post-Training Quantization?
GPTQ iyo AWQ waa laba hab oo horseed u ah in la dhimo moodooyinka luqadda hore loo tababaray ee saxda ah ee 4-bit si ay ugu shaqeeyaan qalab ka jaban oo yar. Waa sababta aad ugu wadi karto moodal karti leh hal macaamiil GPU halkii aad ka isticmaali lahayd kaydinta xogta.
Waa maxay macnaha 'Tirada-tababarka ka dib'?
Qiyaasta tababarka ka dib waxay yaraynaysaa saxnaanta miisaanka moodeelka la dhammeeyay (tusaale, ilaa 4 bits) iyada oo aan dib looga tabobarayn xoqan.
Waa maxay macluumaadka uu GPTQ u isticmaalo si uu u kabo khaladaadka soo koobida marka la xisaabinayo?
GPTQ waxay isticmaashaa Hessian qiyaas ah si ay u fahanto sida qiyaasida hal miisaan ay u saamayso lumitaanka, ka dibna u hagaajiso miisaanka hadhay si loo magdhabo.
Waa maxay aragtida muhiimka ah ee dhaqaajisa AWQ (Qorinta Miisaanka Dhaqdhaqaaqa og)?
AWQ waxay aqoonsataa kanaalada miisaanka saliimka ah iyadoo adeegsanaysa cabbirka firfircoonida waxayna ku ilaalisaa iyaga oo isticmaalaya miisaan, maadaama dhowr kanaal ay si aan qiyaas lahayn u shaqeeyaan.
Qiyaastii intee in le'eg ayaa xusuusta ay 4-bit tireed u badbaadisaa marka loo eego miisaanka 16-bit?
Ka noqoshada 16 bits ilaa 4 bits miisaankiiba waxay dhimaysaa xusuusta miisaanka ilaa rubuc, qiyaas ahaan dhimis 4x ah.
Maxay GPTQ iyo AWQ labaduba caadi ahaan u cabbiraan miisaanka laakiin ay hawl-qabadyadu si sax ah ugu hayaan?
Miisaanka ayaa ah qiimaha ugu weyn ee xusuusta, halka firfircoonida ay aad ugu nugul yihiin luminta saxda ah, sidaas awgeed miisaan-kaliya miisaanku waa meesha macaan ee caadiga ah.
Sii wad waxbarashada
Tilmaamaha la xidhiidha
Tilmaamayaal badan ayaa loo doortay mawduucan