Kini o ṣẹlẹ
Iwe arXiv kan ṣafihan QTEA, ilana titobi ikẹkọ lẹhin-ikẹkọ fun awọn awoṣe ede nla. Ọna naa ṣe aṣoju awọn iwuwo pẹlu awọn iye ternary ati pe o nlo awọn iwuwo to ku, isọdọtun-ọlọgbọn ọwọn, ati awọn atunṣe ibajẹ-aṣiṣe. Awọn onkọwe ṣe ijabọ awọn iwọn 1.7 ti o munadoko fun iwuwo lori Qwen3-14B, awọn ilọsiwaju deede lori ipilẹ pipọ iwọn ternary, idamu kekere lori WikiText ati C4, ati ekuro-tabili ti o ṣe ipilẹṣẹ awọn ami yiyara ju ipilẹ FP16 ninu awọn idanwo wọn.
Iwe naa ṣe apejuwe QTEA gẹgẹbi ọna iwọn-iwọn-lẹhin-ikẹkọ nikan ti a ṣe apẹrẹ fun eto iha-2-bit ti o nira. O ṣe iwọn awọn iwọn awoṣe si awọn iye ternary lakoko ti o ni idaduro awọn iwuwo salient ti a yan gẹgẹbi awọn isanpada aṣiṣe iyokù. Awọn iṣẹku wọnyẹn ni a yàn si awọn ọwọn ti a yan nipa lilo ologbele-ti eleto 1: 4 sparsity, eyiti awọn onkọwe sọ pe a pinnu lati tọju deede diẹ sii, ipaniyan ore-GPU ju sparsity ti a ko ṣeto.
Awọn onkọwe tun ṣafikun isọdọtun atunṣe-ọlọgbọn ọwọn si aṣa-GPTQ kan, ilana iwe-nipasẹ-iwe ati ṣafihan ẹrọ ibajẹ-aṣiṣe lati dinku ikojọpọ aṣiṣe ipele-igba nigbamii. Ninu awọn adanwo ti a royin áljẹbrà, QTEA de ọdọ awọn iwọn 1.7 ti o munadoko fun iwuwo lori Qwen3-14B ati pe o ni ilọsiwaju iwọntunwọnsi lori ipilẹ titobi ikẹkọ lẹhin-ikẹkọ ti o lagbara julọ nipasẹ 16.7%. O ṣe ijabọ awọn akoko 1.40 ati idamu kekere 2.61-akoko lori WikiText ati C4, lẹsẹsẹ. Lori Llama3-8B, iwe naa ṣe ijabọ ere deede 6.6% ati awọn akoko 1.34 ati awọn akoko 1.95 kekere idamu. Ekuro tabili wiwa ni ijabọ lati ṣaṣeyọri awọn akoko 7.2 yiyara fun iran-ami ju ipilẹ FP16 kan. Iwọnyi jẹ awọn ẹtọ lati awọn igbelewọn ti ara ti iwe, kii ṣe awọn abajade ti a fi idi mulẹ ni ominira.
Awọn alaye orisun: arxiv.org ↗
Kini idi ti o ṣe pataki
Ti o ba tun ṣe ni ominira, QTEA le jẹ ki diẹ ninu awọn awoṣe ede nla din owo lati fipamọ ati yiyara lati ṣiṣẹ, ni pataki nibiti agbara iranti ati iwọn-ipinnu jẹ awọn ifosiwewe diwọn. Abajade jẹ ti o yẹ si agbegbe, eti, ati awọn imuṣiṣẹ iwọn-giga, ṣugbọn ẹri lọwọlọwọ wa lati iwe awọn onkọwe kuku ju idanwo ominira tabi idasilẹ iṣelọpọ.
din awọn nọmba ti die-die ti a lo lati soju awoṣe òṣuwọn, eyi ti o le kekere ti iranti awọn ibeere ati oyi mu sìn ṣiṣe. Ọna kan ti o tọju didara ni aijọju awọn iwọn 1.7 fun iwuwo le wulo fun gbigbe awọn awoṣe ṣiṣẹ lori ohun elo ti o ni ihamọ tabi ṣiṣe awọn iṣẹlẹ diẹ sii laarin isuna iranti ti o wa titi.
Iṣe pataki da lori diẹ ẹ sii ju awọn ipin funmorawon. Iyara ti a royin wa lati inu ekuro-tabili kan ati nitori naa o le dale lori ohun elo kan pato, atilẹyin alakojọ, awọn iwọn ipele, ati awọn gigun lẹsẹsẹ. Orisun naa ko fi idi rẹ mulẹ pe QTEA yiyara tabi deede diẹ sii kọja awọn agbegbe iṣelọpọ, tabi ko pese idiyele, iwọle ti gbalejo, tabi alaye wiwa gbogbogbo.
Ibaraẹnisọrọ Mechanism: Bii O Ṣe Nṣiṣẹ Lootọ
Ṣawari imọ-ẹrọ abẹlẹ lẹhin idagbasoke yii ni ibaraenisọrọ.
Which component of an AI application is the machine-learning model itself?
Kini lati wo tókàn
Awọn ibeere akọkọ jẹ boya awọn anfani ti a royin lapapọ kọja awọn awoṣe idanwo ati awọn ipilẹ, melo ni ohun elo amọja ati atilẹyin sọfitiwia ekuro nilo, ati boya imuse naa jẹ lilo ni gbangba. Iyẹwo siwaju yẹ ki o tun ṣe iwọn didara, lairi, ati lilo agbara kọja awọn iwọn awoṣe afikun ati awọn iṣẹ ṣiṣe gidi.
Iwe igbasilẹ arXiv ti iwe naa sọ pe a fi iṣẹ naa silẹ ni Oṣu Kẹjọ 31, tun ṣe atunṣe ni Oṣu Kẹsan 2, ati pe o gba nipasẹ apejọ akọkọ EMNLP 2026. Gbigba atunyẹwo ẹlẹgbẹ jẹ ipo ti o yẹ, ṣugbọn orisun ko pese ẹda ominira tabi iṣiro afiwera lati ibi apejọ.
Ẹri atẹle ti o wulo yoo pẹlu koodu ti a ṣe ileri ati imuse ekuro, awọn idanwo lori awọn idile awoṣe afikun ati ohun elo, awọn ipilẹ iṣẹ ṣiṣe ipari-si-opin, ati awọn igbelewọn ti ibajẹ didara lori awọn iṣẹ ṣiṣe isale. Orisun naa ko ṣe pato URL-iwọle koodu ninu ọrọ ti a pese, ati pe ko sọ boya imuse idii wa fun awọn olupolowo lasan.