Kini o ṣẹlẹ
Awọn oniwadi ṣe iṣiro awọn ọna meji lati yọkuro titẹ iranti nigba ti n ṣiṣẹ awọn awoṣe ede nla: pinpin awọn iwuwo ati kaṣe KV kọja awọn GPU lọpọlọpọ, tabi fisinuirindigbindigbin ati yiyan kaṣe KV kuro. Lilo simulator profaili ti a ṣe iwọn lori ohun elo A100, A40, ati H100, wọn ṣe afiwe idiyele fun awọn ami ami miliọnu pẹlu lairi kọja awọn awoṣe Llama-2 ni awọn aye 7B ati 70B.
Iwe naa ṣe ayẹwo igo kan pato ni iṣẹsin awoṣe ede nla: yara ti ko to fun iye bọtini, tabi KV, kaṣe. Gẹgẹbi awọn onkọwe, tensor parallelism n koju iṣoro naa nipa didin awọn iwuwo awoṣe ati kaṣe KV kọja awọn ẹrọ meji, mẹrin, tabi mẹjọ. Ọna yẹn ṣẹda yara ori iranti ni afikun ṣugbọn nilo iṣẹ-dinku gbogbo ni gbogbo ipele ati mu owo-owo ohun elo pọ si bi nọmba awọn ẹrọ ti ndagba.
Iyatọ ti a ṣe iwadi ni lati dinku kaṣe funrararẹ. Awọn onkọwe ṣe iṣiro iwọn KV ni awọn ipele 16-, 8-, ati 4-bit, pẹlu awọn ipin-itọju-isalẹ si 0.25, afipamo pe awọn atunto idanwo ni idaduro awọn ipin oriṣiriṣi ti kaṣe naa. Iwe naa fi awọn ọgbọn mejeeji sori ipo iye owo ti o pin: idiyele fun awọn ami ami miliọnu kan ni akawe pẹlu lairi, dipo ki o ṣe afiwe awọn ipin iranti ati awọn iṣipopada iṣelọpọ lọtọ.
Onínọmbà naa nlo simulator profaili ti a ṣe iwọn lori ohun elo A100, A40, ati H100. O ni wiwa awọn awoṣe Llama-2 pẹlu 7 bilionu ati 70 bilionu awọn paramita, awọn iwọn tensor-parallel lati ọkan si mẹjọ, ati awọn eto funmorawon ti idanwo. Awọn onkọwe jabo pe wọn ko rii adakoja deede-iye owo ninu awọn adanwo yẹn: funmorawon wa laarin awọn akoko 1.20 ati 2.00 din owo kọja awọn atunto ti wọn ṣe.
Aala ti a royin da lori ibatan laarin iwọn awoṣe ati iranti ẹrọ. Fun ohun elo 80 GB, awọn onkọwe sọ pe awoṣe 7B ko le mu isuna KV rẹ kuro laarin ferese ọrọ tirẹ, lakoko ti aala ipinnu han ni awọn aye aijọju 36B. Ni isalẹ aaye yẹn, iwe naa sọ pe funmorawon jẹ gaba lori ọrọ-aje. Loke rẹ, tensor parallelism n ṣalaye idiwọ nla nigbati awọn iwuwo awoṣe ko le baamu lori ẹrọ kan; awọn onkọwe fun Llama-2 70B lori ọkan A100 bi apẹẹrẹ ti o si maa wa infeasible laiwo ti KV eto.
Awọn alaye orisun: arxiv.org ↗
Kini idi ti o ṣe pataki
Iwe naa ṣe agbekalẹ yiyan amayederun ti o wulo fun awọn oniṣẹ AI. Awọn abajade rẹ daba pe funmorawon le pese agbara iṣẹ diẹ sii fun dola fun awọn awoṣe ti o baamu awọn iwuwo wọn lori ẹrọ kan, lakoko ti afiwera tensor di pataki nigbati awọn iwuwo awoṣe funrararẹ kọja iranti ti o wa. Iṣowo naa jẹ lairi ti o ga julọ labẹ titẹkuro ninu awọn iṣeto idanwo.
Iye iṣe ti iwe naa ni pe o ṣe afiwe awọn ipinnu amayederun meji ti a sọ nigbagbogbo nipa lilo awọn iwọn oriṣiriṣi. Ẹgbẹ kan ti n pinnu bi o ṣe le ṣe iranṣẹ LLM kan gbọdọ dọgbadọgba agbara iranti, lairi, ati idiyele. Nipa sisọ awọn omiiran bi idiyele fun awọn ami ami miliọnu kan lodi si aisimi, iwadi naa nfunni ni ilana ti o wọpọ fun ironu nipa ipinnu yẹn, botilẹjẹpe awọn abajade wa ti awọn apẹrẹ ti iwe ati awọn atunto profaili.
Anfani eto-ọrọ aje ti o royin lagbara julọ fun awọn awoṣe ti awọn iwuwo wọn ti baamu tẹlẹ lori ẹrọ kan. Ni ipo yẹn, idinku kaṣe KV le ṣe alekun iye iṣẹ ti a ṣakoso nipasẹ ohun elo ti o wa laisi nilo iṣupọ GPU nla kan. Awọn onkọwe ṣe ijabọ 16.5-agbo agbara-fun-dola multiplier fun funmorawon, ni akawe pẹlu 1.21-agbo fun ilosoke mẹjọ ni inawo GPU. Iwọnyi jẹ awọn abajade ijabọ iwe, kii ṣe iṣeduro gbogbogbo fun gbogbo awọn imuṣiṣẹ.
Lairi jẹ idiyele agbedemeji ti ilana funmorawon ninu iwadi naa. Awọn onkọwe jabo pe funmorawon pọ si fun-tokini lairi nipasẹ 8% si 93%, eyiti wọn da si ariyanjiyan batching. Parallelism Tensor nikan ni idanwo lefa ti o ni ilọsiwaju lairi. Eyi ṣẹda iṣowo iṣiṣẹ ti o han gbangba: funmorawon le dara julọ nibiti iṣelọpọ tabi agbara fun dola ṣe pataki julọ, lakoko ti awọn GPU afikun le jẹ idalare nigbati akoko idahun jẹ ibeere akọkọ.
Iwe naa tun ṣalaye idi ti ofin kan fun gbogbo awọn imuṣiṣẹ LLM yoo jẹ ṣina. Funmorawon KV ko dinku iranti ti o wa nipasẹ awọn iwọn awoṣe, nitorinaa ko le jẹ ki awoṣe ti o tobi ju ni ibamu lori ẹrọ ẹyọkan. Lọna miiran, fifi awọn GPU kun le koju agbara iwuwo ṣugbọn o le pọ ju fun awoṣe kekere ti ọran akọkọ jẹ lilo kaṣe. Ilowosi iwadi jẹ Nitorina iṣeduro ipo ti a so si awọn orisun iranti abuda, dipo ẹtọ pe ọna kan nigbagbogbo rọpo miiran.
Ibaraẹnisọrọ Mechanism: Bii O Ṣe Nṣiṣẹ Lootọ
Ṣawari imọ-ẹrọ abẹlẹ lẹhin idagbasoke yii ni ibaraenisọrọ.
Which component of an AI application is the machine-learning model itself?
Kini lati wo tókàn
Awọn awari nilo lati ni idanwo lodi si awọn ẹru iṣẹ iṣelọpọ, awọn idile awoṣe, awọn ibeere didara, ati awọsanma gangan tabi awọn idiyele ohun elo. Áljẹbrà naa ko ṣe ijabọ awọn ipa išedede alaye lati titobi tabi idasile, awọn abajade afọwọsi simulator, tabi boya aala adakoja ti a royin duro kọja awọn awoṣe Llama-2 ti idanwo ati awọn iru GPU.
Áljẹbrà naa ko pese awọn idiyele awọsanma ti o wa ni abẹlẹ, awọn arosinu iṣamulo ohun elo, apapọ iṣẹ ṣiṣe, awọn iwọn ipele, tabi awọn ibi-afẹde lairi ti a lo lati ṣe iṣiro idiyele fun awọn ami ami miliọnu. Awọn alaye wọnyẹn yoo pinnu bii awọn oniṣẹ ni imurasilẹ ṣe tumọ awọn ipin ti a royin sinu awọn isuna iṣẹ ṣiṣe tiwọn. Abajade ti o da lori idiyele kan tabi profaili iṣamulo le yipada nigbati awọn igbewọle wọnyẹn ba yipada.
Iye owo didara ti funmorawon tun ko ni pato ni kikun ni orisun. Iwe naa ṣapejuwe titobi ati itusilẹ bi lilo “didara diẹ,” ṣugbọn áljẹbrà naa ko fun awọn metiriki didara ti iwọn, awọn iṣẹ ṣiṣe, awọn sakani ibajẹ, tabi awọn ala ti a lo lati pinnu boya iṣeto ni itẹwọgba. Awọn ẹgbẹ iṣelọpọ yoo nilo alaye yẹn ṣaaju ṣiṣe itọju awọn abajade idiyele bi iṣeduro ipari-si-opin.
Iwadi naa ni opin ni orisun si awọn iwọn Llama-2 meji ati awọn oriṣi GPU mẹta, botilẹjẹpe o ṣafihan aala ipinnu gbogbogbo ni awọn aye aijọju 36B fun kaadi 80 GB kan. Áljẹbrà náà kò fi ìdí rẹ̀ múlẹ̀ bóyá ààlà yẹn ṣì wà fún àwọn ìtumọ̀ ìtumọ̀ míràn, àwọn gígùn ọ̀rọ̀ ọ̀rọ̀, àwọn àkànṣe àfiyèsí, àwọn ẹbí àwòṣe, tàbí ohun èlò tuntun. Ko tun sọ bawo ni awọn ipinnu ṣe yipada nigbati awọn iwọn awoṣe jẹ iwọn tabi nigbati awọn eto ṣiṣe nlo awọn ilana iṣakoso iranti miiran.
Ijẹrisi siwaju yẹ ki o dojukọ awọn imuṣiṣẹ gidi ati lori isọdọtun simulator. Orisun naa n ṣe idanimọ simulator bi profaili ti o lodi si A100, A40, ati hardware H100, ṣugbọn áljẹbrà ko ṣe ijabọ afọwọsi ominira lodi si awọn wiwọn iṣẹ ifiwe laaye. O tun fi silẹ ni ṣiṣi bi funmorawon ati tensor parallelism ṣe nigba idapo, boya ijiya lairi yatọ pẹlu awọn ilana ijabọ, ati iye awọn olumulo didara awoṣe yoo ṣe iṣowo fun awọn anfani agbara ti o royin.