Iyipada akiyesi pẹlu EAGLE
Ṣiṣatunṣe asọye ṣe iyara itọka awoṣe ede nla nipasẹ jijẹ ki awoṣe iyaworan kekere kan gboju ọpọlọpọ awọn ami ti o wa niwaju, eyiti awoṣe nla lẹhinna jẹrisi ni igbasilẹ kan.
Akopọ
EAGLE jẹ ẹya ti ipinle-ti-aworan ti o ṣe agbekalẹ ni ipele ẹya-ara dipo ipele aami, fifiranṣẹ awọn iyara 2-4x pẹlu pipadanu odo ni didara iṣelọpọ.
Jin Dive
Deede LLM iran ni autoregressive: awọn awoṣe fun awọn ọkan àmi, ifunni ti o pada, ki o si tun, ki kọọkan ami nilo kan ni kikun siwaju kọja nipasẹ ọkẹ àìmọye ti sile. Iyipada iyipada ti o ni itara ba fọ ọrun-igo yii. Olupilẹṣẹ olowo poku ṣe igbero ṣoki ti awọn ami oludije, ati awoṣe ibi-afẹde gbowolori jẹri gbogbo wọn ni iwe-iwọle ti o jọra kan, gbigba ìpele to gunjulo. EAGLE (Algorithm Extrapolation fun Imudara Ede ti o tobi ju) ṣe ilọsiwaju lori awọn ọna iṣaaju nipasẹ kikọ silẹ ni aaye ẹya ara ẹrọ ti o farapamọ ti awoṣe ati ifunni ifisinu otitọ ti ami iṣaaju lati dinku aidaniloju. EAGLE-2 ṣafikun igi iyanju ti o ni agbara, ati EAGLE-3 ju idinasọ asọtẹlẹ ẹya kan silẹ lati ṣe iwọn dara julọ. Ni pataki, ijẹrisi ṣe iṣeduro iṣelọpọ jẹ aami si kini awoṣe ibi-afẹde yoo ti ṣejade nikan.
Imọ-imọ-ẹrọ
EAGLE ṣe ikẹkọ ori kekere autoregressive ti o sọ asọtẹlẹ awoṣe ibi-afẹde atẹle ẹya-ara-ipinle ti o farapamọ, lẹhinna tun lo ori LM ti ibi-afẹde lati yi awọn ẹya pada si awọn oludije ami. Nipa imudara lori ilana ti o yipada pẹlu awọn ẹya iṣaaju, o ge aibikita ti o ṣe iyọnu kikọ ẹya-nikan. Igi ti awọn oludije jẹ idaniloju ni ẹẹkan; Pinpin awoṣe ibi-afẹde ti wa ni ipamọ ni pato nitori awọn ami ti o gba gbọdọ baamu ti a ṣe ayẹwo tabi yiyan argmax, ṣiṣe iyara ni asan.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ọjọ iwaju ti Iyipada Apejuwe pẹlu EAGLE
Iyipada asọye n di awọn amayederun aiyipada ni ṣiṣe awọn akopọ bii vLLM ati TensorRT-LLM. Reti isọdọkan wiwọ pẹlu batching ati pinpin kaṣe KV, awọn awoṣe iyasilẹ ti ara ẹni ti ko nilo olupilẹṣẹ lọtọ, ati apẹrẹ ohun elo ohun elo ti o dawọle ijerisi afiwera. Akọsilẹ ẹya ara EAGLE ni a faagun si multimodal ati awọn awoṣe ironu, nibiti awọn ẹwọn gigun ti ironu ṣe awọn idiyele fun-ami ni pataki paapaa ni irora, ati si itọkasi ẹrọ nibiti awọn ọrọ lairi ṣe pataki julọ.
Real-World imuse
Gige lairi ni awọn oluranlọwọ iwiregbe nitorina awọn idahun san 2-3x yiyara laisi iyipada awọn idahun awoṣe
Idinku awọn idiyele iṣẹ iranṣẹ GPU fun awọn olupese API iwọn-giga nipasẹ ṣiṣe awọn ami-ami diẹ sii fun gbigbe siwaju
Yiyara awọn awoṣe ero ero-pipẹ gigun nibiti a ti ṣe agbejade ẹgbẹẹgbẹrun awọn ami fun ibeere
Iyara awọn irinṣẹ ipari koodu nibiti a ti le sọtẹlẹ, awọn ilana ami atunwi ti n pese awọn oṣuwọn gbigba iwe-giga
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Speculative Decoding with EAGLE quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Speculative Yiyipada
Awọn ibeere ti a beere nigbagbogbo
Kini Iṣaro Iṣaro pẹlu EAGLE?
Ṣiṣatunṣe asọye ṣe iyara itọka awoṣe ede nla nipasẹ jijẹ ki awoṣe iyaworan kekere kan gboju ọpọlọpọ awọn ami ti o wa niwaju, eyiti awoṣe nla lẹhinna jẹrisi ni igbasilẹ kan. EAGLE jẹ ẹya-ti-ti-aworan ti o ṣe apẹrẹ ni ipele ẹya ju ipele ami, jiṣẹ awọn iyara 2-4x pẹlu pipadanu odo ni didara iṣelọpọ.
Kini ero pataki ti o wa lẹhin iyipada arosọ?
Olupilẹṣẹ kekere kan gboju ọpọlọpọ awọn ami ami iwaju, ati awoṣe ibi-afẹde nla jẹri wọn papọ, gbigba ìpele to gunjulo.
Bawo ni EAGLE ṣe yato si awọn isunmọ asọye asọye iṣaaju?
EAGLE ṣe asọtẹlẹ awọn ẹya ti o farapamọ awoṣe ibi-afẹde ati tun lo ori LM rẹ, eyiti o ṣe agbejade awọn iyaworan deede diẹ sii ju awọn ọna ami-nikan lọ.
Kini idi ti iyipada arosọ ni ‘aini ipadanu’?
Nitoripe awoṣe ibi-afẹde ṣayẹwo ami iyasọtọ kọọkan ti a kọ si pinpin tirẹ, abajade ti a gba jẹ deede ohun ti ibi-afẹde yoo ti ipilẹṣẹ nikan.
Iṣoro wo ni kikọ ẹya EAGLE ṣe iranlọwọ fun atunṣe ifisinu ifisi ami ti iṣaaju?
Imudara lori ami ami iṣaaju gangan dinku aibikita ti asọtẹlẹ ẹya-ara ti o farapamọ ti o tẹle, imudarasi išedede yiyan.
Kini EAGLE-2 ṣafikun lori EAGLE atilẹba?
EAGLE-2 ṣafihan igi iyanju ti o ni imọ-ọrọ, ti n gbooro awọn ẹka ti o ni ileri lati gbe oṣuwọn gbigba soke.