Up tókànItọsọna atẹle
Ipa Awọn iṣẹ fun Ikẹkọ Data Attribution
Imọ-ẹrọ
Imọ Itọsọna
GPTQ ati AWQ Post-Training Quantization
GPTQ ati AWQ jẹ awọn ọna asiwaju meji fun idinku awọn awoṣe ede ti a ti kọ tẹlẹ si 4-bit konge ki wọn ṣiṣẹ lori din owo, ohun elo kekere.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
Wọn jẹ idi ti o fi le ṣiṣe awoṣe ti o lagbara lori GPU olumulo kan ṣoṣo dipo agbeko ile-iṣẹ data.
Jin Dive
Quantization ikẹkọ lẹhin-ikẹkọ (PTQ) ṣe compress awoṣe ti o pari laisi atunṣeto rẹ, ṣe aworan awọn iwọn konge giga si isalẹ si awọn iwọn 4 si aijọju idamẹrin iranti. Ipenija naa ni ṣiṣe eyi laisi išedede ibajẹ. GPTQ (isọdọtun ti OBQ) ṣe iwọn Layer awọn iwọn nipasẹ Layer, ni lilo alaye aṣẹ-keji lati inu data isọdiwọn kekere lati ṣatunṣe awọn iwuwo to ku ati isanpada fun aṣiṣe iyipo kọọkan. AWQ (Imudara-imọ iwuwo iwuwo) gba igun ti o yatọ: o ṣe akiyesi pe ida kekere kan ti awọn ikanni iwuwo jẹ pataki aibikita, ti a damọ nipasẹ wiwo awọn iwọn imuṣiṣẹ, ati aabo awọn ikanni salient wọnyẹn nipasẹ iwọn kuku ju pipọ wọn ni ibinu. Mejeeji jẹ ki awọn awoṣe bii Llama ṣiṣẹ ni 4-bit, ati awọn irinṣẹ bii vLLM, llama.cpp, ati AutoGPTQ ti jẹ ki wọn jẹ akọkọ fun itọkasi agbegbe ati idiyele-daradara.
Real-World imuse
Nṣiṣẹ awoṣe Llama paramita 70-bilionu-biliọnu kan lori GPU olumulo 24 GB kan ni lilo awọn iwuwo GPTQ 4-bit.
Awọn awoṣe ti a ṣe iwọn AWQ ṣiṣẹ ni iṣelọpọ giga ni vLLM fun awọn API iṣelọpọ iye owo daradara.
llama.cpp ni lilo awọn iwuwo GGUF ti o ni iwọn lati ṣiṣe awọn awoṣe ede ni agbegbe lori Sipiyu laptop kan.
Famọra Face's AutoGPTQ ati awọn ile-ikawe AutoAWQ n jẹ ki awọn olupolowo ṣe iwọn awoṣe ti a ṣe igbasilẹ ni awọn laini koodu diẹ.
Ojo iwaju ti GPTQ ati AWQ Post-Training Quantization
Quantization ti wa ni titari si isalẹ 4 die-die si 3-bit, 2-bit, ati adalu-konge siseto, nigbagbogbo ni idapo pelu sparsity. Reti isọdọkan isunmọ pẹlu awọn ẹrọ iṣẹ ṣiṣe ni iwọn, KV-cache funmorawon, ati iyipada arosọ ṣiṣẹ papọ. Atilẹyin ohun elo fun awọn ọna kika-kekere bi NVFP4 ati MXFP4 ti n dagba, ati awọn irinṣẹ adaṣe yoo mu awọn iwọn iwọn-Layer pọ si. Ibi-afẹde gbooro jẹ isunmọ-pipadanu 4-bit (ati isalẹ) bi aiyipada, ṣiṣe awọn awoṣe to lagbara ni olowo poku lati sin nibi gbogbo.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Iye owo ati isuna. Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
- Awọn ipinnu diẹ sii. Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
- Iṣakoso didara. Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ṣọra fun
- Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
- Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
- Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Next awọn igbesẹ
- Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
- Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
- Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
- Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the GPTQ and AWQ Post-Training Quantization quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
Kini GPTQ ati AWQ Post-Training Quantization?
GPTQ ati AWQ jẹ awọn ọna asiwaju meji fun idinku awọn awoṣe ede ti a ti kọ tẹlẹ si 4-bit konge ki wọn ṣiṣẹ lori din owo, ohun elo kekere. Wọn jẹ idi ti o le ṣiṣe awoṣe ti o lagbara lori GPU olumulo kan dipo agbeko datacenter.
Kini itumo 'pipe ikẹkọ lẹhin-ikẹkọ'?
Quantization ikẹkọ lẹhin-ikẹkọ dinku deedee ti awọn iwuwo awoṣe ti o pari (fun apẹẹrẹ, si awọn iwọn 4) laisi atunṣeto lati ibere.
Alaye wo ni GPTQ nlo lati sanpada fun awọn aṣiṣe iyipo nigbati o ba ṣe iwọn bi?
GPTQ nlo Hessian isunmọ lati loye bii pipọ iwuwo kan ṣe ni ipa lori pipadanu, lẹhinna ṣatunṣe awọn iwuwo to ku lati sanpada.
Ìjìnlẹ̀ òye kọ́kọ́rọ́ wo ló ń ṣamọ̀nà AWQ (Ìfikún Ìwọ̀n Ìmúṣiṣẹ́-mọ̀)?
AWQ ṣe idanimọ awọn ikanni iwuwo salient nipa lilo awọn iwọn imuṣiṣẹ ati aabo wọn nipasẹ iwọn, nitori awọn ikanni diẹ ṣe pataki ni aibikita.
Ni aijọju melomelo iranti ni iye iwọn 4-bit fipamọ dipo awọn iwuwo 16-bit?
Lilọ lati 16 die-die si 4 die-die fun iwuwo gige iranti iwuwo si bii idamẹrin, ni aijọju idinku 4x.
Kini idi ti awọn mejeeji GPTQ ati AWQ maa n ṣe iwọn awọn iwuwo ṣugbọn tọju awọn iṣẹ ṣiṣe ni pipe ti o ga julọ?
Awọn iwuwo jẹ idiyele iranti akọkọ, lakoko ti awọn iṣẹ ṣiṣe jẹ ifarabalẹ diẹ si ipadanu konge, nitorinaa iwọn iwuwo-nikan jẹ aaye didùn ti o wọpọ.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii