Speculative Yiyipada
Iyipada asọye jẹ ki awọn awoṣe ede nla ṣe agbejade ọrọ yiyara nipa lilo awoṣe ‘akọpamọ’ kekere kan, iyara lati gboju ọpọlọpọ awọn ami ami iwaju, lẹhinna nini awoṣe nla jẹri gbogbo wọn ni ẹẹkan.
Akopọ
It speeds up inference 2-3x with identical output quality.
Jin Dive
Ni deede LLM kan n ṣe agbejade ọrọ ami kan ni akoko kan: aami kọọkan nilo gbigbe siwaju ni kikun nipasẹ awoṣe nla, ati pe o ko le bẹrẹ atẹle titi ti lọwọlọwọ yoo fi pari. Eyi jẹ o lọra nitori pe o ni iranti-odidi, kii ṣe-iṣiro - GPU n lo pupọ julọ ti akoko rẹ lati ṣajọpọ awọn iwuwo, kii ṣe iṣiro. Speculative iyipada fi opin si bottleneck. A kekere, poku osere awoṣe tanmo a chunk ti, wipe, marun tani aami. Awọn ti o tobi 'afojusun' awoṣe ki o si lakọkọ gbogbo marun ni kan nikan ni afiwe siwaju kọja ati ki o sọwedowo wọn. Awọn ami-ami ti o baamu ohun ti yoo ti ṣe ni a gba; ni akọkọ iyapa ti o atunse ati ki o discards awọn iyokù. Nitori aridaju ọpọlọpọ awọn ami iye owo nipa kanna bi ti o npese ọkan, gba amoro ni o wa fere free.
Imọ-imọ-ẹrọ
Apa onilàkaye jẹ ofin ijusile-iṣapẹẹrẹ ti o ṣe iṣeduro pinpin iṣelọpọ jẹ aami mathematiki si ṣiṣe awoṣe ibi-afẹde nikan - nitorinaa didara ko ni isunmọ, o jẹ deede. Oṣuwọn gbigba n ṣe awakọ iyara: dara julọ awoṣe kekere ti sọ asọtẹlẹ nla, awọn ami diẹ sii duro fun igbesẹ ijerisi. Awọn iyatọ bii Medusa ṣafikun awọn olori asọtẹlẹ afikun si awoṣe ibi-afẹde funrararẹ, ati awọn iyaworan EAGLE ni aaye ẹya, yiyọ iwulo fun awoṣe iyaworan lọtọ.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ojo iwaju ti Speculative Yiyan
Iyipada asọye ti n di aiyipada ni ṣiṣe awọn akopọ bi vLLM ati TensorRT-LLM. Reti awọn ọna iyasilẹ ti ara ẹni (Medusa, EAGLE, Lookahead) lati jẹ gaba lori nitori wọn yago fun mimu awoṣe keji, pẹlu akiyesi orisun-igi ti o jẹrisi awọn ẹka oludije pupọ fun igbesẹ kan. Bi awọn awoṣe ti ndagba, igo-igo ti o ni iranti yoo buru si, ṣiṣe akiyesi paapaa niyelori diẹ sii, ati awọn olupilẹṣẹ ti o mọ ohun elo yoo Titari awọn iyara gidi-aye ga julọ.
Real-World imuse
Awoṣe apẹrẹ 7B kan ti n ṣalaye awọn ami fun awoṣe iwiregbe 70B lati ge lairi esi ni oluranlọwọ iṣelọpọ kan
Awọn ori Medusa da lori LLM kan nitorinaa o sọ asọtẹlẹ ọpọlọpọ awọn ami-ami iwaju ni ẹẹkan laisi awoṣe apẹrẹ lọtọ
vLLM n fun iyipada arosọ lati gbe awọn ami-ami-si-keji-keji lori iṣupọ iṣẹ
Akọsilẹ EAGLE ni aaye ẹya-ara ti o farapamọ awoṣe lati ṣe alekun oṣuwọn gbigba ati iyara gbogbogbo
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Speculative Decoding quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Iyipada akiyesi pẹlu EAGLE
Awọn ibeere ti a beere nigbagbogbo
What is Speculative Decoding?
Iyipada asọye jẹ ki awọn awoṣe ede nla ṣe agbejade ọrọ yiyara nipa lilo awoṣe ‘akọpamọ’ kekere kan, iyara lati gboju ọpọlọpọ awọn ami ami iwaju, lẹhinna nini awoṣe nla jẹri gbogbo wọn ni ẹẹkan. O iyara soke inference 2-3x pẹlu aami o wu didara.
Kini ero pataki ti iyipada arosọ?
Awoṣe iyaworan ti o yara ni imọran awọn ami-ami pupọ, ati awoṣe ibi-afẹde nla n ṣayẹwo gbogbo wọn ni iwe-iwọle afiwera kan.
Kini idi ti iran LLM deede ọkan-àmi-ni-akoko kan lọra?
Igbesẹ kọọkan ni o ṣajọpọ awọn matiri iwuwo nla lati iranti dipo ṣiṣe iṣiro iwuwo, nitorinaa GPU ko lo.
Kini yoo ṣẹlẹ ni ami ami akọkọ nibiti apẹrẹ ati awọn awoṣe ibi-afẹde ko gba?
Àmi soke si iyapa ti wa ni gba; lati aiṣedeede siwaju wọn kọ wọn ati pe a tọju ami ami ti o tọ ti awoṣe ibi-afẹde.
Bawo ni iyipada arosọ ṣe ni ipa lori didara iṣẹjade?
Ofin iṣapẹẹrẹ ijusile ṣe iṣeduro pinpin ipari ni deede ni ibamu pẹlu awoṣe ibi-afẹde, nitorinaa didara ko yipada.
Kini pupọ julọ ṣe ipinnu iyara iyara lati iyipada asọye?
Awọn ami ti a ṣe diẹ sii ti awoṣe ibi-afẹde gba fun igbesẹ ijerisi kan, iyara ti o pọ si.