Multi-Token Prediction Training
Istället för att bara förutsäga nästa token, tränas modellen i att förutsäga flera framtida tokens samtidigt.
Översikt
This sharpens learning signals and unlocks faster inference through self-speculative decoding.
Djupdykning
Standardspråkmodeller tränas med nästa-token-prediktion: givet ett sammanhang, förutsäg nästa enda token. Multi-token prediction (MTP), populariserad av ett Meta papper från 2024 och adopterat i DeepSeek-V3, lägger till extra lätta utdatahuvuden så att modellen samtidigt förutsäger nästa token plus den 2:a, 3:e och 4:e token framåt från samma dolda tillstånd. Detta tvingar nätverket att planera längre in i framtiden och förtätar träningssignalen – varje position bidrar nu med flera förlusttermer. Meta rapporterade särskilt stora vinster på kodning och generativa resonemang, med större modeller som gynnade mer. Avgörande är att de extra huvudena kan kasseras efter träning, så modellstorleken vid utplacering behöver inte växa.
Teknisk insikt
MTP fäster n oberoende prediktionshuvuden ovanpå den delade transformatorstammen; head k förutsäger symbolen vid position t+k från representationen vid position t. Förlusterna summeras under träning. Vid slutledning möjliggör hjälphuvudena självspekulativ avkodning: modellen föreslår flera tokens i ett pass, verifierar dem sedan, vilket uppnår upp till ungefär 3 gånger snabbare generering utan att ändra utmatningsfördelningen.
Strategisk inverkan
Speed and scale
Språkarbetsflöden kan gå snabbare utan att offra konsekvens.
Access and reach
Det utökar åtkomsten över språk och kommunikationsstilar.
Clearer decisions
Team kan lägga mer tid på bedömning medan automatisering hanterar upprepning.
Framtiden för Multi-Token Prediction Training
MTP håller på att bli en standardingrediens i frontier träningsrecept eftersom det förbättrar både kvalitet och slutledningshastighet till låg kostnad. Förvänta dig stramare integration med spekulativ avkodning, djupare prediktionshorisonter och användning som ett hjälpmål som förbättrar planering över långa horisonter. I kombination med resonemangsmodeller kan förutsägelse av flera steg framåt hjälpa modeller internt att simulera konsekvenser innan de förbinder sig till ett svar.
Real-World Implementation
DeepSeek-V3 använder ett MTP-mål under förträning för att öka dataeffektiviteten och möjliggöra spekulativ avkodning
Metas kodgenereringsmodeller som visar noggrannhetsvinster på HumanEval och MBPP från att förutsäga flera tokens
Självspekulativ avkodning: utarbeta 3-4 tokens per framåtpassning och sedan verifiera för snabbare, distributionsbevarande utdata
Snabbare autoslutförande i kodningsassistenter där flera trovärdiga tokens föreslås och kontrolleras i ett steg
Risker & skyddsräcken
Hallucinerade fakta kan tyst lägga in rapporter, stödflöden eller forskningsresultat.
Snabb känslighet kan skapa inkonsekventa resultat över liknande förfrågningar.
Känsliga textdata kan exponeras om åtkomstkontrollerna är svaga.
Färdplan för genomförande
Definiera utdataformat, ton och kvalitetsstandarder innan lansering.
Marksvar med pålitliga källor närhelst noggrannhet är viktig.
Håll en kontrollpunkt för mänsklig granskning för höga insatser.
Spåra felmönster och träna om uppmaningar eller arbetsflöden regelbundet.
Fortsätt utforska
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Multi-Token Prediction Training quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Spekulativ streaming och Multi-Token Prediction
Frequently asked questions
What is Multi-Token Prediction Training?
Istället för att bara förutsäga nästa token, tränas modellen i att förutsäga flera framtida tokens samtidigt. Detta skärper inlärningssignaler och låser upp snabbare slutledningar genom självspekulativ avkodning.
Vad tillför förutsägelse av flera token jämfört med standardträning för nästa token?
MTP lägger till ytterligare utdatahuvuden så att modellen förutsäger nästa token plus flera tokens längre fram från ett dolt tillstånd.
Vilken modell använde särskilt ett multi-token prediktionsmål i förträning?
DeepSeek-V3 antog ett MTP-utbildningsmål för att förbättra dataeffektiviteten och möjliggöra spekulativ avkodning.
Varför förtätar MTP träningssignalen?
Att förutsäga flera framtida tokens innebär att varje tokenposition producerar flera prediktionsförluster, vilket ger fler inlärningssignaler per token.
Vilken slutledningsfördel möjliggör de extra prediktionshuvudena?
Hjälphuvudena kan dra flera tokens per pass som sedan verifieras, vilket påskyndar genereringen utan att ändra utmatningsfördelningen.
Vad händer med hjälphuvudena efter träning om du inte behöver snabba upp?
De extra huvudena är valfria vid driftsättning; Att kassera dem behåller modellen i samma storlek som en standardmodell med nästa token.