GPTQ ati AWQ Post-Training Quantization
GPTQ ati AWQ jẹ awọn ọna asiwaju meji fun idinku awọn awoṣe ede ti a ti kọ tẹlẹ si 4-bit konge ki wọn ṣiṣẹ lori din owo, ohun elo kekere.
Akopọ
Wọn jẹ idi ti o fi le ṣiṣe awoṣe ti o lagbara lori GPU olumulo kan ṣoṣo dipo agbeko ile-iṣẹ data.
Jin Dive
Quantization ikẹkọ lẹhin-ikẹkọ (PTQ) ṣe compress awoṣe ti o pari laisi atunṣeto rẹ, ṣe aworan awọn iwọn konge giga si isalẹ si awọn iwọn 4 si aijọju idamẹrin iranti. Ipenija naa ni ṣiṣe eyi laisi išedede ibajẹ. GPTQ (isọdọtun ti OBQ) ṣe iwọn Layer awọn iwọn nipasẹ Layer, ni lilo alaye aṣẹ-keji lati inu data isọdiwọn kekere lati ṣatunṣe awọn iwuwo to ku ati isanpada fun aṣiṣe iyipo kọọkan. AWQ (Imudara-imọ iwuwo iwuwo) gba igun ti o yatọ: o ṣe akiyesi pe ida kekere kan ti awọn ikanni iwuwo jẹ pataki aibikita, ti a damọ nipasẹ wiwo awọn iwọn imuṣiṣẹ, ati aabo awọn ikanni salient wọnyẹn nipasẹ iwọn kuku ju pipọ wọn ni ibinu. Mejeeji jẹ ki awọn awoṣe bii Llama ṣiṣẹ ni 4-bit, ati awọn irinṣẹ bii vLLM, llama.cpp, ati AutoGPTQ ti jẹ ki wọn jẹ akọkọ fun itọkasi agbegbe ati idiyele-daradara.
Imọ-imọ-ẹrọ
GPTQ nlo isunmọ ti Hessian (ìsépo ti isonu) lati pinnu bi iyipo iwuwo kan ṣe yẹ ki o nu awọn miiran, dinku aṣiṣe ti a ṣafihan. AWQ fo awọn Hessians patapata: o ṣe iṣiro ifosiwewe iwọn-ikanni kan ki awọn ikanni iwuwo pataki tọju iṣedede ti o munadoko wọn, lẹhinna ṣe iwọn ni iṣọkan. Mejeeji tọju awọn iṣẹ ṣiṣe ni konge ti o ga julọ ati awọn iwuwo compress nikan, niwọn igba ti awọn iwuwo jẹ gaba lori iranti lakoko ti iwọn imuṣiṣẹ duro lati ṣe ipalara deede diẹ sii.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ojo iwaju ti GPTQ ati AWQ Post-Training Quantization
Quantization ti wa ni titari si isalẹ 4 die-die si 3-bit, 2-bit, ati adalu-konge siseto, nigbagbogbo ni idapo pelu sparsity. Reti isọdọkan isunmọ pẹlu awọn ẹrọ iṣẹ ṣiṣe ni iwọn, KV-cache funmorawon, ati iyipada arosọ ṣiṣẹ papọ. Atilẹyin ohun elo fun awọn ọna kika-kekere bi NVFP4 ati MXFP4 ti n dagba, ati awọn irinṣẹ adaṣe yoo mu awọn iwọn iwọn-Layer pọ si. Ibi-afẹde gbooro jẹ isunmọ-pipadanu 4-bit (ati isalẹ) bi aiyipada, ṣiṣe awọn awoṣe to lagbara ni olowo poku lati sin nibi gbogbo.
Real-World imuse
Nṣiṣẹ awoṣe Llama paramita 70-bilionu-biliọnu kan lori GPU olumulo 24 GB kan ni lilo awọn iwuwo GPTQ 4-bit.
Awọn awoṣe ti a ṣe iwọn AWQ ṣiṣẹ ni iṣelọpọ giga ni vLLM fun awọn API iṣelọpọ iye owo daradara.
llama.cpp ni lilo awọn iwuwo GGUF ti o ni iwọn lati ṣiṣe awọn awoṣe ede ni agbegbe lori Sipiyu laptop kan.
Famọra Face's AutoGPTQ ati awọn ile-ikawe AutoAWQ n jẹ ki awọn olupolowo ṣe iwọn awoṣe ti a ṣe igbasilẹ ni awọn laini koodu diẹ.
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the GPTQ and AWQ Post-Training Quantization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Ipa Awọn iṣẹ fun Ikẹkọ Data Attribution
Awọn ibeere ti a beere nigbagbogbo
Kini GPTQ ati AWQ Post-Training Quantization?
GPTQ ati AWQ jẹ awọn ọna asiwaju meji fun idinku awọn awoṣe ede ti a ti kọ tẹlẹ si 4-bit konge ki wọn ṣiṣẹ lori din owo, ohun elo kekere. Wọn jẹ idi ti o le ṣiṣe awoṣe ti o lagbara lori GPU olumulo kan dipo agbeko datacenter.
Kini itumo 'pipe ikẹkọ lẹhin-ikẹkọ'?
Quantization ikẹkọ lẹhin-ikẹkọ dinku deedee ti awọn iwuwo awoṣe ti o pari (fun apẹẹrẹ, si awọn iwọn 4) laisi atunṣeto lati ibere.
Alaye wo ni GPTQ nlo lati sanpada fun awọn aṣiṣe iyipo nigbati o ba ṣe iwọn bi?
GPTQ nlo Hessian isunmọ lati loye bii pipọ iwuwo kan ṣe ni ipa lori pipadanu, lẹhinna ṣatunṣe awọn iwuwo to ku lati sanpada.
Ìjìnlẹ̀ òye kọ́kọ́rọ́ wo ló ń ṣamọ̀nà AWQ (Ìfikún Ìwọ̀n Ìmúṣiṣẹ́-mọ̀)?
AWQ ṣe idanimọ awọn ikanni iwuwo salient nipa lilo awọn iwọn imuṣiṣẹ ati aabo wọn nipasẹ iwọn, nitori awọn ikanni diẹ ṣe pataki ni aibikita.
Ni aijọju melomelo iranti ni iye iwọn 4-bit fipamọ dipo awọn iwuwo 16-bit?
Lilọ lati 16 die-die si 4 die-die fun iwuwo gige iranti iwuwo si bii idamẹrin, ni aijọju idinku 4x.
Kini idi ti awọn mejeeji GPTQ ati AWQ maa n ṣe iwọn awọn iwuwo ṣugbọn tọju awọn iṣẹ ṣiṣe ni pipe ti o ga julọ?
Awọn iwuwo jẹ idiyele iranti akọkọ, lakoko ti awọn iṣẹ ṣiṣe jẹ ifarabalẹ diẹ si ipadanu konge, nitorinaa iwọn iwuwo-nikan jẹ aaye didùn ti o wọpọ.