GPTQ na Ukadiriaji wa Baada ya Mafunzo ya AWQ
GPTQ na AWQ ni njia mbili kuu za kupunguza miundo ya lugha ambayo tayari imefunzwa hadi usahihi wa biti 4 ili zitumie maunzi ya bei nafuu na madogo.
Muhtasari
They are why you can run a capable model on a single consumer GPU instead of a datacenter rack.
Dive ya kina
Ukadiriaji wa baada ya mafunzo (PTQ) hubana muundo uliokamilika bila kuuzoeza tena, ikitengeneza uzani wa usahihi wa hali ya juu hadi biti 4 hadi takriban robo ya kumbukumbu. Changamoto ni kufanya hivi bila kuharibu usahihi. GPTQ (uboreshaji wa OBQ) hukadiria uzito safu kwa safu, kwa kutumia maelezo ya mpangilio wa pili kutoka kwa mkusanyiko mdogo wa data wa urekebishaji ili kurekebisha uzani uliosalia na kufidia kila hitilafu ya kuzungusha. AWQ (Ukadiriaji wa Uzito unaotambua Uwezeshaji) huchukua pembe tofauti: inaona kuwa sehemu ndogo ya chaneli za uzani ni muhimu kwa usawa, inatambulika kwa kuangalia ukubwa wa kuwezesha, na hulinda njia hizo muhimu kwa kuongeza badala ya kuzipunguza kwa fujo. Zote mbili huruhusu miundo kama Llama iendeshe kwa 4-bit, na zana kama vile vLLM, llama.cpp, na AutoGPTQ zimezifanya kuwa za kawaida kwa makisio ya ndani na ya gharama nafuu.
Ufahamu wa Kiufundi
GPTQ hutumia ukadiriaji wa Hessian (mpindano wa hasara) kuamua jinsi kuzungusha uzani mmoja kunapaswa kuwavuta wengine, na kupunguza hitilafu iliyoletwa. AWQ inaruka Hessians kabisa: inakokotoa kipengele cha kuongeza kwa kila chaneli ili chaneli muhimu za uzani ziweke usahihi wao bora, kisha zipunguze kwa usawa. Zote mbili huweka uwezeshaji katika usahihi wa juu na kubana tu uzani, kwani uzani hutawala kumbukumbu huku ukadiriaji wa kuwezesha huelekea kuumiza usahihi zaidi.
Athari za kimkakati
Cost and budget
Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
Maamuzi ya wazi zaidi
Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
Quality control
Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Mustakabali wa GPTQ na Ukadiriaji wa Baada ya Mafunzo ya AWQ
Ukadiriaji unasukuma chini ya biti 4 kuelekea 3-bit, 2-bit, na mipango ya usahihi mchanganyiko, ambayo mara nyingi hujumuishwa na uchache. Tarajia muunganisho wa karibu na injini zinazohudumia ili ujazo, ufinyu wa kache ya KV, na usimbaji wa kubahatisha ufanye kazi pamoja. Usaidizi wa maunzi kwa miundo ya kiwango cha chini kama NVFP4 na MXFP4 inapevuka, na zana za kiotomatiki zitazidi kuchagua upana wa kila safu. Lengo pana ni karibu-hasara 4-bit (na chini) kama chaguo-msingi, na kufanya miundo thabiti iwe nafuu kutumika kila mahali.
Utekelezaji wa Ulimwengu Halisi
Inatumia muundo wa Llama wa kigezo cha bilioni 70 kwenye GPU moja ya mtumiaji ya GB 24 kwa kutumia uzani wa 4-bit GPTQ.
Miundo iliyopimwa kwa kiasi cha AWQ inayotolewa kwa kiwango cha juu katika vLLM kwa API za uzalishaji za gharama nafuu.
llama.cpp kwa kutumia uzani wa GGUF uliokaguliwa ili kuendesha miundo ya lugha ndani ya kompyuta ya kompyuta ya CPU.
Maktaba za AutoGPTQ za Hugging Face na AutoAWQ zinazowaruhusu wasanidi programu kukadiria muundo uliopakuliwa katika mistari michache ya msimbo.
Hatari & Walinzi
Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Ramani ya Utekelezaji
Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
Benchmark chini ya mzigo halisi na hali ya data.
Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the GPTQ and AWQ Post-Training Quantization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Kazi za Ushawishi kwa Uwasilishaji wa Data ya Mafunzo
Maswali yanayoulizwa mara kwa mara
What is GPTQ and AWQ Post-Training Quantization?
GPTQ na AWQ ni njia mbili kuu za kupunguza miundo ya lugha ambayo tayari imefunzwa hadi usahihi wa biti 4 ili zitumie maunzi ya bei nafuu na madogo. Ndio sababu unaweza kuendesha muundo mzuri kwenye GPU moja ya watumiaji badala ya rack ya datacenter.
Je, 'idadi ya baada ya mafunzo' inamaanisha nini?
Ukadiriaji wa baada ya mafunzo hupunguza usahihi wa uzani wa modeli iliyomalizika (k.m., hadi biti 4) bila kuifundisha tena kutoka mwanzo.
Je, GPTQ hutumia taarifa gani kufidia makosa ya kuzungusha wakati wa kuhesabu?
GPTQ hutumia takriban Hessian kuelewa jinsi kupima uzito mmoja kunavyoathiri upunguzaji, kisha kurekebisha uzani uliosalia ili kufidia.
Je, ni maarifa gani muhimu yanayosukuma AWQ (Ukadiriaji wa Uzito unaotambua Uwezeshaji)?
AWQ hutambua chaneli muhimu za uzani kwa kutumia vipimo vya kuwezesha na kuzilinda kupitia kuongeza, kwa kuwa chaneli chache ni muhimu kwa kiasi kikubwa.
Takriban ni kiasi gani cha kumbukumbu ambacho 4-bit quantization huokoa dhidi ya uzani wa 16-bit?
Kutoka biti 16 hadi biti 4 kwa kila uzani hupunguza kumbukumbu ya uzito hadi takriban robo, takriban punguzo la 4x.
Kwa nini GPTQ na AWQ zote mbili kwa kawaida hupima uzani lakini huweka uwezeshaji kwa usahihi wa juu zaidi?
Uzito ndio gharama kuu ya kumbukumbu, wakati uwezeshaji ni nyeti zaidi kwa kupoteza kwa usahihi, hivyo quantization ya uzito pekee ndiyo sehemu tamu ya kawaida.