Sisanwọle Speculative ati Olona-Tokini Asọtẹlẹ
Sisanwọle akiyesi ati asọtẹlẹ ami-ami pupọ ṣe iyara iran awoṣe ede nipasẹ ṣiroju ọpọlọpọ awọn ami-ami iwaju ni ẹẹkan ati rii daju wọn ni iwọle kan, dipo iṣelọpọ ami kan ni akoko kan.
Akopọ
Wọn ge latency laisi iyipada ọrọ ti awoṣe yoo ti kọ.
Jin Dive
Decoding autoregressive deede jẹ o lọra nitori ami kọọkan nilo iwe-iwọle siwaju ni kikun ati awọn ami-ami ti ipilẹṣẹ ni muna kan lẹhin miiran, nlọ GPU ti ko lo. Iyipada iyipada asọye ṣe atunṣe eyi pẹlu olupilẹṣẹ olowo poku ti o ṣeduro chunk ti awọn ami oludije, eyiti awoṣe ibi-afẹde nla lẹhinna jẹrisi ni afiwe; eyikeyi ìpele ti o baamu ohun ti ibi-afẹde yoo ti ṣe ni a gba fun ọfẹ, ati pe aiṣedeede akọkọ jẹ atunṣe. Sisanwọle akiyesi ati asọtẹlẹ ami-ami-pupọ-ara Medusa ṣe agbo olupilẹṣẹ sinu awoṣe funrararẹ: awọn olori asọtẹlẹ iwuwo fẹẹrẹ (tabi ṣiṣan ti awọn ami akiyesi) jẹ ki awoṣe kan mejeeji yiyan ati rii daju, yago fun awoṣe iyaworan lọtọ. Nitori ijerisi jẹ deede, pinpin iṣẹjade jẹ aami kanna si iyipada boṣewa, o kan gba 2 si awọn akoko 3 diẹ ninu awọn igbesẹ lẹsẹsẹ.
Imọ-imọ-ẹrọ
Awọn bọtini ni wipe a transformer le Dimegilio ọpọlọpọ awọn ipo ni ọkan kọja siwaju bi olowo poku bi ọkan, niwon o jẹ iranti-bandwidth owun, ko isiro dè, nigba iyipada. Awọn olori asọtẹlẹ pupọ n jade awọn ami oludije fun awọn ipo pupọ ti o tẹle; igi kan tabi ọkọọkan awọn oludije ni a rii daju papọ, ati gbigba lilo ijusile iṣapẹẹrẹ (tabi ibaramu ojukokoro) nitorinaa awọn ami itẹwọgba tẹle pinpin ibi-afẹde gangan. Gigun ti a gba ni igbesẹ kọọkan pinnu iyara iyara.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ojo iwaju ti Sisanwọle Speculative ati Olona-Tokini Asọtẹlẹ
Awọn ọna arosọ ti ara ẹni ti ko nilo awoṣe apẹrẹ lọtọ ti n di aiyipada ni awọn ẹrọ inference, ati pe iwadii n titari awọn oṣuwọn gbigba ti o ga julọ pẹlu awọn olori yiyan ti o dara julọ, awọn oludije eto igi, ati ikẹkọ awoṣe ipilẹ ni apapọ fun asọtẹlẹ ami-ọpọlọpọ (eyiti o tun le mu didara dara). Reti awọn ilana wọnyi lati darapo pẹlu pipọ ati batching nitorinaa awọn oluranlọwọ ibaraenisepo ni rilara lẹsẹkẹsẹ paapaa bi awọn awoṣe ti ndagba.
Real-World imuse
Gige airi esi ti oluranlọwọ iwiregbe nipasẹ 2 si 3x ni lilo awọn olori asọtẹlẹ afikun ara Medusa
Ṣafikun iyipada asọye ti ara ẹni si olupin itọka nitoribẹẹ ko si awoṣe iyaworan lọtọ nilo lati gbalejo
Yiyara ipari koodu nibiti pipẹ, awọn ami ami asọtẹlẹ ti n ṣiṣẹ gba ni awọn chunks nla
Idinku iye owo GPU fun ibeere nipa yiyo awọn ami-ami diẹ sii lati iranti-iwọn siwaju kọja kọọkan
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Speculative Streaming and Multi-Token Prediction quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Multi-Tokini Asọtẹlẹ Ikẹkọ
Awọn ibeere ti a beere nigbagbogbo
Kini Speculative Streaming ati Asọtẹlẹ Multi-Token?
Sisanwọle akiyesi ati asọtẹlẹ ami-ami pupọ ṣe iyara iran awoṣe ede nipasẹ ṣiroju ọpọlọpọ awọn ami-ami iwaju ni ẹẹkan ati rii daju wọn ni iwọle kan, dipo iṣelọpọ ami kan ni akoko kan. Wọn ge lairi laisi iyipada ọrọ ti awoṣe yoo ti kọ.
Kini idi ti iyipada autoregressive boṣewa nigbagbogbo fa fifalẹ lori GPU kan?
Aami kọọkan nilo iwe-iwọle siwaju tirẹ ati pe wọn wa ni ọna ti o muna, nitorinaa GPU jẹ asopọ bandiwidi iranti ati aibikita lakoko iyipada.
Kini 'akọsilẹ' ṣe ni iyipada arosọ?
Olupilẹṣẹ olowo poku ṣeduro chunk ti awọn ami oludije ti awoṣe ibi-afẹde nla lẹhinna jẹrisi ni afiwe.
Bawo ni a ṣe tọju didara iṣẹjade ni iyipada arosọ?
Ijeri (ibamu ti o ni ojukokoro tabi iṣapẹẹrẹ ijusile) ṣe idaniloju awọn ami ti o gba tẹle pinpin deede ti awoṣe ibi-afẹde yoo ti ṣe, nitorinaa iṣelọpọ ko yipada.
Kini o ṣe iyatọ asọtẹlẹ-ọpọ-àmi-ara Medusa lati ṣe iyipada arosọ Ayebaye?
Awọn ọna ara Medusa agbo kikọ silẹ sinu awoṣe pẹlu awọn olori asọtẹlẹ afikun, yago fun iwulo lati gbalejo awoṣe iyaworan lọtọ.
Kini idi ti ẹrọ oluyipada kan le rii daju ọpọlọpọ awọn ipo oludije ti o fẹrẹ fẹẹrẹ bi ọkan lakoko iyipada?
Lakoko iyipada igo igo naa n gbe awọn iwuwo lati iranti, nitorinaa fifi aami si awọn ipo afikun ni iwe-iwọle kanna ṣe afikun idiyele iṣiro kekere.