Dulmar
GPTQ iyo AWQ waa laba hab oo horseed u ah in la dhimo moodooyinka luqadda hore loo tababaray ee saxda ah ee 4-bit si ay ugu shaqeeyaan qalab ka jaban oo yar. Waa sababta aad ugu wadi karto moodal karti leh hal macaamiil GPU halkii aad ka isticmaali lahayd kaydinta xogta.
GPTQ iyo AWQ Tirinta Tababarka Kadib waa dhisme farsamo oo saameeya tayada moodeelka, kharashka kaabayaasha, daahitaanka, iyo isku halaynta cabbirka.
quusitaanka qoto dheer
Qiyaasta tababarka ka dib (PTQ) waxay cadaadisaa moodal dhammaatay iyada oo aan dib loo tababarin, iyada oo sawiraysa miisaanyo sax ah oo hooseeya ilaa 4 bits ilaa qiyaas ahaan rubuc xusuusta. Caqabadda ayaa ah samaynta tan iyada oo aan la burburin saxnaanta. GPTQ (sifayn OBQ) waxay ku qiyaastaa lakabka miisaanka lakabka, iyada oo la isticmaalayo macluumaadka dalabka labaad ee xogta kaydinta yar si loo hagaajiyo miisaanka hadhay oo loo magdhabo khalad kasta oo wareeg ah. AWQ (Activation-oware Weight Quantization) waxay qaadataa xagal kale: waxay eegaysaa in qayb yar oo ka mid ah kanaalada miisaanka ay yihiin kuwo aan si dheellitirnayn oo muhiim ah, oo lagu garto iyadoo la eegayo baaxadda firfircoonida, oo waxay ilaalisaa kanaaladaas saliimka ah iyada oo miisaanaysa halkii ay si adag u tirin lahayd. Labaduba waxay u oggolaadaan moodooyinka sida Llama inay ku shaqeeyaan 4-bit, iyo aaladaha ay ka midka yihiin vLLM, llama.cpp, iyo AutoGPTQ waxay ka dhigeen kuwa guud ee gudaha iyo kharashka waxtarka leh.
Aragtida Farsamada
GPTQ waxay isticmaashaa qiyaasta Hessian-ka (qallooca khasaaraha) si ay u go'aansato sida isku-duubnida hal miisaan ay tahay inay u nuujiso kuwa kale, iyadoo yaraynaysa khaladka la soo bandhigay. AWQ gabi ahaanba way ka booddaa Hessians: waxay xisaabinaysaa halbeeg kasta oo kanaalka ah si kanaalada miisaanka muhiimka ah ay u ilaashadaan saxnimadooda wax ku ool ah, ka dibna si isku mid ah u qiyaasa. Labaduba waxay ku hayaan firfircoonida si sax ah oo kaliya waxayna isku cadaadiyaan miisaanka, maadaama miisaanyadu ay xukumaan xusuusta halka kicinta firfircoonida ay u egtahay inay dhaawacdo saxnaanta.
Aqoonta GPTQ iyo AWQ Tirinta Tababarka Kadib
GPTQ iyo AWQ waa laba hab oo horseed u ah in la dhimo moodooyinka luqadda hore loo tababaray ee saxda ah ee 4-bit si ay ugu shaqeeyaan qalab ka jaban oo yar. Waa sababta aad ugu wadi karto moodal karti leh hal macaamiil GPU halkii aad ka isticmaali lahayd kaydinta xogta. GPTQ iyo AWQ Tirinta Tababarka Kadib waa dhisme farsamo oo saameeya tayada moodeelka, kharashka kaabayaasha, daahitaanka, iyo isku halaynta cabbirka. Si loo dhiso faham qoto dheer, ula dhaqan GPTQ iyo AWQ Tirinta Tababarka Kadib sidii qaab hawleed, ma aha hal sifo: qeex natiijooyinka la rabo, cadee fikradaha, oo kala saar waxa nidaamku si kalsooni leh u qaban karo iyo waxa wali u baahan go'aan khabiir.
Ficil ahaan, kooxaha xoogga leh ee isticmaalaya GPTQ iyo AWQ Tirinta Tababarka Kadib waxay wanaajiyaan qaab dhismeedka, xogta, iyo doorashooyinka kaabayaasha lidka ku ah isku halaynta iyo qiimaha. Waxay diiwaangeliyaan shuruudaha guusha ee cad, tijaabiyaan xogta dhabta ah iyo qulqulka shaqada, waxayna ku celceliyaan ku saleysan qaababka guul darrida ee la arkay halkii ay hal mar ku guuleysan lahaayeen halbeegyada. Tani waa halka fahamka aragtida uu isu beddelo karti waara oo dhan badeecada, siyaasadda, iyo hawlgallada.
Go'aamada qaab-dhismeedku waxay horseedaan waxqabadka iyo kharashka hawlgalka sannadaha. Isla mar ahaantaana, hagaajinta hal bartilmaameed waxay qarin kartaa daciifnimada nidaamka ballaaran. Habka ugu adkeysi badan waa in la isku daro xawaaraha tijaabada iyo anshaxa maamulka: socodsiinta duuliyayaasha, qabashada caddaynta, daabacaadda go'aanka, iyo si joogto ah u cusboonaysii ilaalinta sida habdhaqanka moodeelka, filashada isticmaale, iyo shuruudaha sharciyaynta.
Saamaynta Istiraatijiyadeed
Go'aamada qaab-dhismeedku waxay horseedaan waxqabadka iyo kharashka hawlgalka sannadaha.
Go'aamada qaab-dhismeedku waxay horseedaan waxqabadka iyo kharashka hawlgalka sannadaha. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.
Waxbarashada farsamada waxay ka caawisaa kooxaha inay doortaan xidhmo sax ah, ma aha oo kaliya kan ugu cusub.
Waxbarashada farsamada waxay ka caawisaa kooxaha inay doortaan xidhmo sax ah, ma aha oo kaliya kan ugu cusub. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.
Doorashooyinka injineernimada ee wanaagsan waxay yareeyaan shilalka la isku halleyn karo ee wax soo saarka.
Doorashooyinka injineernimada ee wanaagsan waxay yareeyaan shilalka la isku halleyn karo ee wax soo saarka. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.
Dhaqangelinta Adduunka-dhabta ah
Ku socodsiinta moodeel 70-bilyan-beeg-beeg ah Llama oo ku socda hal macaamiil 24 GB GPU ah iyadoo la adeegsanayo miisaanka 4-bit GPTQ.
Moodooyinka AWQ-la qiyaasey waxay u adeegeen wax-soo-saar sare oo vLLM ah API-yada wax soo saarka waxtarka leh.
llama.cpp iyada oo la adeegsanayo miisaannada GGUF ee la qiyaasay si loogu socodsiiyo moodooyinka luqadda gudaha gudaha CPU laptop.
Hugging Face's AutoGPTQ iyo AutoAWQ maktabadaha u ogolaanaya horumariyayaashu in ay qiyaasaan qaabka la soo dejiyay dhowr sadar oo kood ah.
Hababka Dhaqangelinta
GPTQ iyo AWQ Tirakoobka Tababarka Kadib ficil ahaan
Ku socodsiinta moodeel 70-bilyan-beeg-beeg ah Llama oo ku socda hal macaamiil 24 GB GPU ah iyadoo la adeegsanayo miisaanka 4-bit GPTQ.
Ku socodsiinta moodelka Llama ee 70-bilyan-halbeegga ah ee hal macaamiil 24 GB GPU iyadoo la adeegsanayo 4-bit GPTQ culeysyada Kooxuhu waxay caadi ahaan helaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, u hayaan dariiqa kor u qaadida aadanaha ee kiisaska cirifka ah, oo la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada khaladka waqti ka dib.
GPTQ iyo AWQ Tirakoobka Tababarka Kadib ficil ahaan
Moodooyinka AWQ-la qiyaasey waxay u adeegeen wax-soo-saar sare oo vLLM ah API-yada wax soo saarka waxtarka leh.
Moodooyinka la qiyaasey ee AWQ waxay u adeegeen wax soo saar sare oo vLLM ah oo loogu talagalay wax soo saarka APIs ee waxtarka leh Kooxuhu badanaa waxay helaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, waxay hayaan dariiqa kor u kaca bini'aadamka ee kiisaska cirifka ah, waxayna la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada qaladka waqti ka dib.
GPTQ iyo AWQ Tirakoobka Tababarka Kadib ficil ahaan
llama.cpp iyada oo la adeegsanayo miisaannada GGUF ee la qiyaasay si loogu socodsiiyo moodooyinka luqadda gudaha gudaha CPU laptop.
llama.cpp isticmaalaya miisaanka GGUF la qiyaaso si ay ugu socodsiiyaan moodooyinka luqadda gudaha laptop-ka Kooxaha CPU badanaa waxay helayaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, u hayaan dariiqa kor u qaadida bini'aadamka ee kiisaska cirifka ah, oo ay la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada khaladka waqti ka dib.
GPTQ iyo AWQ Tirakoobka Tababarka Kadib ficil ahaan
Hugging Face's AutoGPTQ iyo AutoAWQ maktabadaha u ogolaanaya horumariyayaashu in ay qiyaasaan qaabka la soo dejiyay dhowr sadar oo kood ah.
Hugging Face's AutoGPTQ iyo AutoAWQ maktabadaha u ogolaanaya horumariyayaashu inay qiyaasaan qaabka la soo dejiyay ee dhowr sadar oo kood ah Kooxuhu waxay badanaa helaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, u hayaan dariiqa kor u kaca bini'aadamka ee kiisaska cirifka ah, oo ay la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada qaladka waqti ka dib.
Khatarta & Dariiqyada Ilaalada
Hagaajinta hal bartilmaameed waxay qarin kartaa daciifnimada nidaamka ballaaran.
Kaabayaasha dhaqaalaha iyo dayactirka inta badan waa la dhayalsadaa.
Nabadgelyada iyo daldaloolada u fiirsashada ayaa kori kara marka nidaamyadu noqdaan kuwo aad u adag.
Qorshe Hawleedka Dhaqangelinta
Qeex daahida, tayada, iyo bartilmaameedyada qiimaha ka hor inta aan la hirgelin.
Qeex daahida, tayada, iyo bartilmaameedyada qiimaha ka hor inta aan la hirgelin. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.
Benchmark marka la eego culeyska dhabta ah iyo xaaladaha xogta.
Benchmark marka la eego culeyska dhabta ah iyo xaaladaha xogta. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.
La socodka qalabka khaladaadka, leexashada, iyo saamaynta isticmaalaha.
La socodka qalabka khaladaadka, leexashada, iyo saamaynta isticmaalaha. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.
U diyaari dib-u-noqoshada iyo dariiqyada jawaab-celinta dhacdada ka hor inta aanad miisaan.
U diyaari dib-u-noqoshada iyo dariiqyada jawaab-celinta dhacdada ka hor inta aanad miisaan. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.