Quantization ya Mfano
Ukadiriaji wa muundo hupunguza mtandao wa neva kwa kuhifadhi nambari zake katika vipande vichache, kwa hivyo muundo sawa hufanya kazi haraka na kwenye maunzi madogo.
Muhtasari
It is the main reason large models can fit on a single GPU, a laptop, or even a phone.
Dive ya kina
Miundo iliyofunzwa kwa kawaida huhifadhi kila uzani kama nambari ya nukta 32-bit au 16-bit ya kuelea. Ukadiriaji huchukua nafasi ya zile zilizo na umbizo la usahihi wa chini kama vile nambari 8-bit (INT8) au thamani 4-bit (INT4), kukata kumbukumbu takriban 4x hadi 8x. Muundo wa kigezo cha bilioni 70 unaohitaji takriban 140GB katika 16-bit unaweza kushuka karibu na GB 35 kwa 4-bit, ikitoshea kwenye GPU moja ya mtumiaji. Kukamata ni usahihi: kubana anuwai ya maadili kwenye ndoo 256 au 16 hupoteza maelezo. Mbinu za kisasa kama vile GPTQ, AWQ, na umbizo la NF4 linalotumika katika QLoRA huchagua vipengele mahiri vya kuongeza vipimo na kulinda uzani nyeti zaidi, kwa hivyo upotezaji wa ubora mara nyingi huwa mdogo. Ukadiriaji ndio maana zana kama vile llama.cpp na Ollama zinaweza kutumia miundo yenye uwezo ndani ya nchi bila kituo cha data.
Ufahamu wa Kiufundi
Ukadiriaji huweka thamani halisi kwa gridi ndogo kamili kwa kutumia mizani na nukta sifuri: storage_int = round(thamani / mizani) + zero_point. Kuchagua kiwango vizuri ni mchezo mzima. Kupima kwa kila kituo au kwa kila kikundi huweka mizani tofauti kwa vipande vya matriki ya uzani, kuhifadhi usahihi inapobidi. Ukadiriaji wa baada ya mafunzo hubadilisha kielelezo kilichokamilika, huku mafunzo ya kufahamu quantization huiga mzunguko wakati wa mafunzo ili mtandao ujifunze kustahimili, kwa kawaida ukitoa usahihi bora wa kiwango cha chini.
Athari za kimkakati
Cost and budget
Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
Maamuzi ya wazi zaidi
Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
Quality control
Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Mustakabali wa Ukadiriaji wa Mfano
Tarajia usahihi wa chini zaidi kuwa wa kawaida. Utafiti unasukuma uzani wa kuaminika wa 4-bit, 2-bit, na hata uzani wa jozi, pamoja na mifumo ya usahihi mchanganyiko ambayo huweka tabaka nyeti juu zaidi. Maunzi yanafuata: GPU na chipsi za simu sasa zinajumuisha vitengo asilia vya INT8, INT4, na FP8. Miundo kama FP8 na MXFP4 inalenga kuchanganya aina mbalimbali za kuelea na saizi ya nambari kamili. Ikichanganywa na mbinu kama vile QLoRA, ujanibishaji utaendelea kufanya miundo ya mizani ya mpaka iwe nafuu zaidi ili kuendesha na kurekebisha vyema vifaa vya kila siku.
Utekelezaji wa Ulimwengu Halisi
Inaendesha modeli ya 7B au 13B Llama kwenye kompyuta ya mkononi iliyo na llama.cpp au Ollama kwa kutumia faili 4 za GGUF.
QLoRA inaboresha muundo mkubwa kwenye GPU moja kwa kuweka uzani wa msingi ukiwa umeganda katika 4-bit NF4.
Inatumia miundo ya INT8 kwenye simu zilizo na muda wa kutumika kwenye kifaa ili wasaidizi wafanye kazi nje ya mtandao na kwa faragha.
Kutumikia vituo vya bei nafuu vya API ambapo ujanibishaji wa INT8/FP8 huongeza takribani mara mbili ya matokeo na kupunguza gharama ya kumbukumbu.
Hatari & Walinzi
Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Ramani ya Utekelezaji
Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
Benchmark chini ya mzigo halisi na hali ya data.
Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Model Quantization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Sajili za Mfano
Maswali yanayoulizwa mara kwa mara
What is Model Quantization?
Ukadiriaji wa muundo hupunguza mtandao wa neva kwa kuhifadhi nambari zake katika vipande vichache, kwa hivyo muundo sawa hufanya kazi haraka na kwenye maunzi madogo. Ndiyo sababu miundo mikubwa inaweza kutoshea kwenye GPU moja, kompyuta ya mkononi, au hata simu.
Ukadiriaji wa mfano hubadilika nini kimsingi kuhusu mtandao wa neva?
Ukadiriaji huhifadhi vigezo sawa katika biti chache (kwa mfano INT8 au INT4 badala ya kuelea 16- au 32), kupunguza kumbukumbu na kuongeza kasi ya hesabu.
Takriban ni kumbukumbu ngapi inaweza kubadilisha modeli kutoka 16-bit hadi 4-bit kuokoa?
Kuanzia biti 16 kwa kila uzani hadi biti 4 hupunguza hifadhi kwa takriban sababu nne, ndiyo maana miundo mikubwa inaweza kutoshea kwenye GPU moja.
Je, ni upande gani kuu wa quantization ya kiwango cha chini cha fujo?
Kupanga aina mbalimbali za thamani kwenye viwango vichache tofauti hupoteza maelezo, jambo ambalo linaweza kupunguza ubora isipokuwa kama kipimo mahiri kitalinda uzani nyeti.
Je, mafunzo ya kufahamu quantization yanatofautiana vipi na upimaji wa baada ya mafunzo?
Mafunzo ya kutambua kiasi hujenga hitilafu ya kuzungusha kwenye kitanzi cha mafunzo, kwa hivyo mtandao hubadilika na kwa kawaida huweka usahihi zaidi katika upana mdogo.
Ni mbinu gani hutumia ujanibishaji wa biti 4 kufanya usanifu mzuri wa miundo mikubwa inayoweza kumudu kwenye GPU moja?
QLoRA huweka muundo msingi ukiwa umeganda katika umbizo la 4-bit NF4 na hufunza uzani mdogo wa adapta, kuruhusu miundo mikubwa kusawazishwa vizuri kwenye maunzi ya kawaida.