Multi-Tokini Asọtẹlẹ Ikẹkọ
Dipo ti asọtẹlẹ o kan aami atẹle, awoṣe ti ni ikẹkọ lati ṣe asọtẹlẹ ọpọlọpọ awọn ami ami iwaju ni ẹẹkan.
Akopọ
Eyi mu ki awọn ifihan agbara ẹkọ pọ si ati ṣii inference yiyara nipasẹ ifaminsi ti ara ẹni.
Jin Dive
Awọn awoṣe ede boṣewa jẹ ikẹkọ pẹlu asọtẹlẹ ami atẹle: ti a fun ni ọrọ-ọrọ kan, sọtẹlẹ ami-ami atẹle ẹyọkan. Àsọtẹ́lẹ̀ àmi-ọ̀pọ̀lọpọ̀ (MTP), tí a gbajúmọ̀ nípasẹ̀ ìwé 2024 Meta kan tí a sì gbà ní DeepSeek-V3, ṣe àfikún àwọn orí àbájáde ìwúwo àfikún bẹ́ẹ̀ náà ni àwòkọ́ṣe náà bá ń sọ àsọtẹ́lẹ̀ àmi tí ó tẹ̀lé e pẹ̀lú 2, 3rd, àti 4th àmi níwájú láti ipò ìfarapamọ́ kan náà. Eyi fi agbara mu nẹtiwọọki lati gbero siwaju si ọjọ iwaju ati densifies ifihan agbara ikẹkọ - ipo kọọkan ni bayi ṣe alabapin awọn ofin pipadanu pupọ. Meta royin paapaa awọn anfani nla lori ifaminsi ati ero ipilẹṣẹ, pẹlu awọn awoṣe ti o tobi julọ ni anfani diẹ sii. Ni pataki, awọn ori afikun le jẹ asonu lẹhin ikẹkọ, nitorinaa iwọn awoṣe ni imuṣiṣẹ ko nilo lati dagba.
Imọ-imọ-ẹrọ
MTP attaches n ominira asọtẹlẹ ori lori oke ti pín transformer ẹhin mọto; ori k sọ asọtẹlẹ ami ni ipo t + k lati aṣoju ni ipo t. Awọn adanu ti wa ni akopọ nigba ikẹkọ. Ni itọkasi, awọn olori oluranlọwọ jẹ ki iyipada asọye ti ara ẹni ṣiṣẹ: awoṣe ṣe igbero awọn ami pupọ ni iwe-iwọle kan, lẹhinna jẹrisi wọn, ṣaṣeyọri to aijọju iran iyara 3x laisi iyipada pinpin iṣelọpọ.
Ipa Ilana
Iyara ati iwọn
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Wiwọle ati arọwọto
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
Awọn ipinnu diẹ sii
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ojo iwaju ti Multi-Tokini Asọtẹlẹ Ikẹkọ
MTP n di eroja aiyipada ni awọn ilana ikẹkọ iwaju nitori pe o mu didara mejeeji dara ati iyara itọkasi ni idiyele diẹ. Reti isọpọ timọtimọ pẹlu iyipada arosọ, awọn iwo asọtẹlẹ ti o jinlẹ, ati lo bi ibi-afẹde oluranlọwọ ti o ni ilọsiwaju igbero-ọrun gigun. Ni idapọ pẹlu awọn awoṣe ero, asọtẹlẹ awọn igbesẹ pupọ ti o wa niwaju le ṣe iranlọwọ fun awọn awoṣe inu lati ṣe adaṣe awọn abajade ṣaaju ṣiṣe si idahun kan.
Real-World imuse
DeepSeek-V3 ni lilo ibi-afẹde MTP lakoko ikẹkọ iṣaaju lati ṣe alekun iṣẹ ṣiṣe data ati mu iyipada arosọ ṣiṣẹ
Awọn awoṣe ipilẹṣẹ koodu Meta ti n ṣafihan awọn anfani deede lori HumanEval ati MBPP lati sọtẹlẹ awọn ami-ami pupọ
Iyipada asọye ti ara ẹni: kikọ awọn ami 3-4 fun iwọle siwaju lẹhinna jẹrisi yiyara, iṣelọpọ ibi ipamọ pinpin.
Ipari adaṣe yiyara ni awọn oluranlọwọ ifaminsi nibiti a ti daba ọpọlọpọ awọn ami ti o ṣeeṣe ati ṣayẹwo ni igbesẹ kan
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Multi-Token Prediction Training quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Sisanwọle Speculative ati Olona-Tokini Asọtẹlẹ
Awọn ibeere ti a beere nigbagbogbo
Kini Ikẹkọ Asọtẹlẹ Multi-Token?
Dipo ti asọtẹlẹ o kan aami atẹle, awoṣe ti ni ikẹkọ lati ṣe asọtẹlẹ ọpọlọpọ awọn ami ami iwaju ni ẹẹkan. Eyi n mu awọn ifihan agbara ikẹkọ pọ si ati ṣiṣafihan itọka ni iyara nipasẹ ṣiṣe iyipada ti ara ẹni.
Kini asọtẹlẹ-ami-ọpọlọpọ ṣe afikun ni akawe si ikẹkọ atẹle-ami boṣewa?
MTP ṣe afikun awọn olori iṣelọpọ afikun nitorina awoṣe ṣe asọtẹlẹ ami atẹle pẹlu ọpọlọpọ awọn ami-ami siwaju siwaju lati ipo ti o farapamọ kan.
Awoṣe wo ni pataki lo ipinnu asọtẹlẹ ami-ami pupọ ni ikẹkọ iṣaaju?
DeepSeek-V3 gba ibi ikẹkọ MTP kan lati mu ilọsiwaju data ṣiṣe dara ati mu iyipada arosọ ṣiṣẹ.
Kini idi ti MTP ṣe densify ifihan agbara ikẹkọ?
Asọtẹlẹ ọpọlọpọ awọn ami ami iwaju tumọ si ipo ami kọọkan ṣe agbejade awọn adanu asọtẹlẹ pupọ, fifun ifihan agbara ẹkọ diẹ sii fun ami kan.
Anfaani itọkasi wo ni awọn olori asọtẹlẹ afikun ṣiṣẹ?
Awọn olori oluranlọwọ le ṣe agbekalẹ awọn ami-ami pupọ fun iwe-iwọle ti o jẹri lẹhinna, yiyara iran laisi iyipada pinpin iṣelọpọ.
Kini yoo ṣẹlẹ si awọn olori iranlọwọ lẹhin ikẹkọ ti o ko ba nilo awọn iyara-iyara?
Awọn ori afikun jẹ iyan ni imuṣiṣẹ; sisọ wọn silẹ jẹ ki awoṣe jẹ iwọn kanna bi awoṣe atẹle-ami boṣewa.