Ijerisi Iṣapeye Speculative
Iṣapẹẹrẹ akiyesi ṣe iyara iran awoṣe ede nla nipa jijẹ ki awoṣe 'akọpamọ' kekere kan gboju ọpọlọpọ awọn ami ti o wa niwaju, lẹhinna nini awoṣe nla rii daju wọn ni igbasilẹ ẹyọkan.
Akopọ
The clever verification step guarantees the output matches what the big model would have produced on its own.
Jin Dive
Autoregressive iran ni o lọra nitori kọọkan àmi nilo kan ni kikun siwaju kọja awoṣe kan tobi. Iṣapẹẹrẹ akiyesi ṣe atunṣe eyi nipa sisopọ awoṣe afọwọya olowo poku pẹlu awoṣe ibi-afẹde gbowolori. Awọn osere tanmo a kukuru run ti àmi (sọ 4-8); ibi-afẹde lẹhinna ṣe ikun gbogbo wọn ni ọna ti o jọra siwaju. Ofin ijusile-iṣapẹrẹ ti a ṣe atunṣe gba ìpele ti o gunjulo ti o ni ibamu pẹlu pinpin ibi-afẹde tirẹ ati awọn apẹẹrẹ ni ipo kọkọ akọkọ. Nitori gbigba jẹ iṣeeṣe ati atunṣe, ṣiṣan ami ipari ti pin ni otitọ bi ẹnipe ibi-afẹde ti ipilẹṣẹ nikan, ko si pipadanu didara. Awọn iyara ti o wọpọ jẹ 2-3x nigbati iwe kikọ naa ba yara ati ni ibamu daradara, nitori ọpọlọpọ awọn ami-ami ti jẹrisi fun ipe gbowolori.
Imọ-imọ-ẹrọ
Fun ami iyasọtọ kọọkan, o ṣe afiwe iṣeeṣe ibi-afẹde q ati iṣeeṣe apẹrẹ p. Gba pẹlu iṣeeṣe min (1, q/p); ti o ba ti kọ, ayẹwo lati awọn deede iṣẹku pinpin max (0, q-p). Ofin ijusile yii jẹ ki pinpin alapin jẹ aami kanna si iṣapẹẹrẹ ibi-afẹde mimọ. Ifiweranṣẹ afiwe ti ibi-afẹde naa tun fun pinpin ami-ami atẹle 'fun ọfẹ' lẹhin ami ti o gba kẹhin, nitorinaa ilọsiwaju ko duro.
Ipa Ilana
Iyara ati iwọn
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Wiwọle ati arọwọto
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
Awọn ipinnu diẹ sii
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ojo iwaju ti Ijerisi Iṣayẹwo Apejuwe
Iyipada asọye ti n di idiwọn ni awọn akopọ itọkasi. Awọn iyatọ tuntun ju awoṣe iyasilẹ lọtọ: akiyesi ara ẹni nlo ijade ni kutukutu tabi awọn olori asọtẹlẹ afikun (Medusa, EAGLE), kikọ ipilẹ-igi jẹri ọpọlọpọ awọn itesiwaju oludije ni ẹẹkan, ati wiwa wiwakọ ṣe afiwe awọn amoro n-gram. Reti isọpọ titọ pẹlu batching ati iṣakoso kaṣe KV, iwọn iyaworan ohun elo, ati lilo gbooro ni awọn ọja ifarabalẹ bii awọn oluranlọwọ iwiregbe ati awọn irinṣẹ ifaminsi nibiti gbogbo awọn iṣẹju-aaya ti ka.
Real-World imuse
Nsin awoṣe iwiregbe 70B pẹlu awoṣe iyaworan 7B lati ge lairi esi ni aijọju ni idaji pẹlu didara iṣelọpọ kanna.
Awọn ori ara-ara Medusa lori awoṣe ẹyọkan ti n sọ asọtẹlẹ ọpọlọpọ awọn ami iwaju iwaju, lẹhinna jẹrisi wọn laisi nẹtiwọọki yiyan yiyan.
Iyipada akiyesi orisun-igi ti o ṣeduro awọn itesiwaju ẹka pupọ ati pe o jẹri gbogbo wọn ni ibi-afẹde ibi-afẹde kan.
Iyara soke koodu-ipari awọn arannilọwọ ibi ti osere awoṣe kapa asotele boilerplate ti awọn ti o tobi awoṣe ni kiakia jerisi.
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Speculative Sampling Verification quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Ijusile iṣapẹẹrẹ Fine-Tuning
Awọn ibeere ti a beere nigbagbogbo
What is Speculative Sampling Verification?
Iṣapẹẹrẹ akiyesi ṣe iyara iran awoṣe ede nla nipa jijẹ ki awoṣe 'akọpamọ' kekere kan gboju ọpọlọpọ awọn ami ti o wa niwaju, lẹhinna nini awoṣe nla rii daju wọn ni igbasilẹ ẹyọkan. Igbesẹ ijerisi onilàkaye ṣe iṣeduro iṣelọpọ ibaamu kini awoṣe nla yoo ti ṣe lori tirẹ.
Kini ero pataki ti o wa lẹhin iṣapẹẹrẹ arosọ?
Awoṣe iyaworan olowo poku ṣe amoro ọpọlọpọ awọn ami iwaju, ati awoṣe ibi-afẹde gbowolori sọwedowo gbogbo wọn ni ọna ti o jọra siwaju nikan.
Kini idi ti iṣayẹwo akiyesi ko dinku didara iṣẹjade?
Atunse ijusile-iṣapẹrẹ ti a tunṣe ṣe iṣeduro awọn ami ti o gba ti pin ni deede bi awoṣe ibi-afẹde yoo ti ṣejade nikan.
Kini idi ti iṣapẹẹrẹ arosọ le ni ilọsiwaju paapaa nigba ti a kọ ami kan silẹ ni aarin-ọkọọkan?
Ikọja-ọna ibi-afẹde kanṣoṣo n ṣe agbejade pinpin ami-ami atẹle lẹhin ami ti o gba ti o kẹhin, nitorinaa o kere ju ami kan nigbagbogbo ni ilọsiwaju.
Ewo ni ọna 'ara-ara ẹni' ti o yago fun awoṣe iyaworan lọtọ?
Medusa ati EAGLE ṣafikun awọn ori afikun tabi lo awọn ijade ni kutukutu nitorinaa awoṣe kanna ṣe igbero awọn ami iwaju, yọ iwulo fun awoṣe apẹrẹ pato kan.