InayofuataMwongozo unaofuata
Kazi za Ushawishi kwa Uwasilishaji wa Data ya Mafunzo
Kiufundi
MWONGOZO wa Kiufundi
GPTQ na Ukadiriaji wa Baada ya Mafunzo ya AWQ
GPTQ na AWQ ni njia mbili kuu za kupunguza miundo ya lugha ambayo tayari imefunzwa hadi usahihi wa biti 4 ili zitumie maunzi ya bei nafuu na madogo.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
They are why you can run a capable model on a single consumer GPU instead of a datacenter rack.
Dive ya kina
Ukadiriaji wa baada ya mafunzo (PTQ) hubana muundo uliokamilika bila kuuzoeza tena, ikitengeneza uzani wa usahihi wa hali ya juu hadi biti 4 hadi takriban robo ya kumbukumbu. Changamoto ni kufanya hivi bila kuharibu usahihi. GPTQ (uboreshaji wa OBQ) hukadiria uzito safu kwa safu, kwa kutumia maelezo ya mpangilio wa pili kutoka kwa mkusanyiko mdogo wa data wa urekebishaji ili kurekebisha uzani uliosalia na kufidia kila hitilafu ya kuzungusha. AWQ (Ukadiriaji wa Uzito unaotambua Uwezeshaji) huchukua pembe tofauti: inaona kuwa sehemu ndogo ya chaneli za uzani ni muhimu kwa usawa, inatambulika kwa kuangalia ukubwa wa kuwezesha, na hulinda njia hizo muhimu kwa kuongeza badala ya kuzipunguza kwa fujo. Zote mbili huruhusu miundo kama Llama iendeshe kwa 4-bit, na zana kama vile vLLM, llama.cpp, na AutoGPTQ zimezifanya kuwa za kawaida kwa makisio ya ndani na ya gharama nafuu.
Utekelezaji wa Ulimwengu Halisi
Inatumia muundo wa Llama wa kigezo cha bilioni 70 kwenye GPU moja ya mtumiaji ya GB 24 kwa kutumia uzani wa 4-bit GPTQ.
Miundo iliyopimwa kwa kiasi cha AWQ inayotolewa kwa kiwango cha juu katika vLLM kwa API za uzalishaji za gharama nafuu.
llama.cpp kwa kutumia uzani wa GGUF uliokaguliwa ili kuendesha miundo ya lugha ndani ya kompyuta ya kompyuta ya CPU.
Maktaba za AutoGPTQ za Hugging Face na AutoAWQ zinazowaruhusu wasanidi programu kukadiria muundo uliopakuliwa katika mistari michache ya msimbo.
Mustakabali wa GPTQ na Ukadiriaji wa Baada ya Mafunzo ya AWQ
Ukadiriaji unasukuma chini ya biti 4 kuelekea 3-bit, 2-bit, na mipango ya usahihi mchanganyiko, ambayo mara nyingi hujumuishwa na uchache. Tarajia muunganisho wa karibu na injini zinazohudumia ili ujazo, ufinyu wa kache ya KV, na usimbaji wa kubahatisha ufanye kazi pamoja. Usaidizi wa maunzi kwa miundo ya kiwango cha chini kama NVFP4 na MXFP4 inapevuka, na zana za kiotomatiki zitazidi kuchagua upana wa kila safu. Lengo pana ni karibu-hasara 4-bit (na chini) kama chaguo-msingi, na kufanya miundo thabiti iwe nafuu kutumika kila mahali.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Gharama na bajeti. Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
- Maamuzi ya wazi zaidi. Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
- Udhibiti wa ubora. Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Jihadharini na
- Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
- Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
- Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Hatua zinazofuata
- Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
- Benchmark chini ya mzigo halisi na hali ya data.
- Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
- Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the GPTQ and AWQ Post-Training Quantization quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
What is GPTQ and AWQ Post-Training Quantization?
GPTQ na AWQ ni njia mbili kuu za kupunguza miundo ya lugha ambayo tayari imefunzwa hadi usahihi wa biti 4 ili zitumie maunzi ya bei nafuu na madogo. Ndio sababu unaweza kuendesha muundo mzuri kwenye GPU moja ya watumiaji badala ya rack ya datacenter.
Je, 'idadi ya baada ya mafunzo' inamaanisha nini?
Ukadiriaji wa baada ya mafunzo hupunguza usahihi wa uzani wa modeli iliyomalizika (k.m., hadi biti 4) bila kuifundisha tena kutoka mwanzo.
Je, GPTQ hutumia taarifa gani kufidia makosa ya kuzungusha wakati wa kuhesabu?
GPTQ hutumia takriban Hessian kuelewa jinsi kupima uzito mmoja kunavyoathiri upunguzaji, kisha kurekebisha uzani uliosalia ili kufidia.
Je, ni maarifa gani muhimu yanayosukuma AWQ (Ukadiriaji wa Uzito unaotambua Uwezeshaji)?
AWQ hutambua chaneli muhimu za uzani kwa kutumia vipimo vya kuwezesha na kuzilinda kupitia kuongeza, kwa kuwa chaneli chache ni muhimu kwa kiasi kikubwa.
Takriban ni kiasi gani cha kumbukumbu ambacho 4-bit quantization huokoa dhidi ya uzani wa 16-bit?
Kutoka biti 16 hadi biti 4 kwa kila uzani hupunguza kumbukumbu ya uzito hadi takriban robo, takriban punguzo la 4x.
Kwa nini GPTQ na AWQ zote mbili kwa kawaida hupima uzani lakini huweka uwezeshaji kwa usahihi wa juu zaidi?
Uzito ndio gharama kuu ya kumbukumbu, wakati uwezeshaji ni nyeti zaidi kwa kupoteza kwa usahihi, hivyo quantization ya uzito pekee ndiyo sehemu tamu ya kawaida.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii