Multi-Token Prediction Training
I stedet for å forutsi bare neste token, trenes modellen til å forutsi flere fremtidige tokens samtidig.
Oversikt
This sharpens learning signals and unlocks faster inference through self-speculative decoding.
Dypdykk
Standardspråkmodeller trenes med neste-token-prediksjon: gitt en kontekst, forutsi neste token. Multi-token-prediksjon (MTP), popularisert av et Meta-papir fra 2024 og tatt i bruk i DeepSeek-V3, legger til ekstra lette utgangshoder slik at modellen samtidig forutsier neste token pluss det andre, tredje og fjerde tokenet fremover fra samme skjulte tilstand. Dette tvinger nettverket til å planlegge lenger inn i fremtiden og fortetter treningssignalet - hver posisjon bidrar nå med flere tapsbetingelser. Meta rapporterte spesielt store gevinster på koding og generativ resonnement, med større modeller som drar mer nytte av. Det er avgjørende at de ekstra hodene kan kastes etter trening, slik at modellstørrelsen ved utplassering ikke trenger å vokse.
Teknisk innsikt
MTP fester n uavhengige prediksjonshoder på toppen av den delte transformatorstammen; head k forutsier symbolet ved posisjon t+k fra representasjonen ved posisjon t. Tapene summeres under trening. Ved inferens muliggjør hjelpehodene selvspekulativ dekoding: modellen foreslår flere tokens i ett pass, og verifiserer dem deretter, og oppnår opptil omtrent 3 ganger raskere generering uten å endre utgangsfordelingen.
Strategisk innvirkning
Speed and scale
Språkarbeidsflyter kan bevege seg raskere uten å ofre konsistens.
Access and reach
Det utvider tilgangen på tvers av språk og kommunikasjonsstiler.
Tydeligere avgjørelser
Lag kan bruke mer tid på dømmekraft mens automatisering håndterer repetisjon.
Fremtiden for Multi-Token Prediction Training
MTP er i ferd med å bli en standardingrediens i grenseopplæringsoppskrifter fordi det forbedrer både kvalitet og slutningshastighet til en liten kostnad. Forvent tettere integrasjon med spekulativ dekoding, dypere prediksjonshorisonter og bruk som et hjelpemål som forbedrer langhorisontplanlegging. Kombinert med resonneringsmodeller kan det å forutsi flere skritt fremover hjelpe modeller internt å simulere konsekvenser før de forplikter seg til et svar.
Real-World Implementering
DeepSeek-V3 bruker et MTP-mål under forhåndstrening for å øke dataeffektiviteten og muliggjøre spekulativ dekoding
Metas kodegenereringsmodeller som viser nøyaktighetsgevinster på HumanEval og MBPP fra å forutsi flere tokens
Selvspekulativ dekoding: utkast 3-4 tokens per foroverpassering og verifiser deretter for raskere, distribusjonsbevarende utdata
Raskere autofullføring i kodeassistenter der flere plausible tokens foreslås og sjekkes i ett trinn
Risikoer og rekkverk
Hallusinerte fakta kan stille inn rapporter, støttestrømmer eller forskningsresultater.
Umiddelbar følsomhet kan skape inkonsistente resultater på tvers av lignende forespørsler.
Sensitive tekstdata kan bli eksponert hvis tilgangskontrollene er svake.
Veikart for implementering
Definer utdataformat, tone og kvalitetsstandarder før utrulling.
Bakgrunnssvar med pålitelige kilder når nøyaktighet er viktig.
Hold et sjekkpunkt for menneskelig vurdering for utganger med høy innsats.
Spor feilmønstre og tren opp meldinger eller arbeidsflyter regelmessig.
Fortsett å utforske
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Multi-Token Prediction Training quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Neste guide
Spekulativ streaming og Multi-Token Prediction
Ofte stilte spørsmål
What is Multi-Token Prediction Training?
I stedet for å forutsi bare neste token, trenes modellen til å forutsi flere fremtidige tokens samtidig. Dette skjerper læringssignaler og låser opp raskere slutninger gjennom selvspekulativ dekoding.
Hva tilfører multi-token-prediksjon sammenlignet med standard neste-token-trening?
MTP legger til flere utgangshoder slik at modellen forutsier neste token pluss flere tokens lenger frem fra én skjult tilstand.
Hvilken modell brukte spesielt et multi-token prediksjonsmål i fortrening?
DeepSeek-V3 tok i bruk et MTP-opplæringsmål for å forbedre dataeffektiviteten og muliggjøre spekulativ dekoding.
Hvorfor tetter MTP treningssignalet?
Å forutsi flere fremtidige tokens betyr at hver token-posisjon produserer flere prediksjonstap, noe som gir mer læringssignal per token.
Hvilken slutningsfordel muliggjør de ekstra prediksjonshodene?
Hjelpehodene kan utkaste flere tokens per pass som deretter bekreftes, og fremskynde genereringen uten å endre utgangsfordelingen.
Hva skjer med hjelpehodene etter trening hvis du ikke trenger speed-ups?
De ekstra hodene er valgfrie ved utplassering; Hvis du forkaster dem, beholdes modellen i samme størrelse som en standard neste token-modell.