Multi-Token-Vorhersagetraining
Anstatt nur den nächsten Token vorherzusagen, wird das Modell darauf trainiert, mehrere zukünftige Token gleichzeitig vorherzusagen.
Übersicht
This sharpens learning signals and unlocks faster inference through self-speculative decoding.
Tiefer Einblick
Standardsprachmodelle werden mit der Vorhersage des nächsten Tokens trainiert: Sagen Sie in einem gegebenen Kontext das einzelne nächste Token voraus. Die Multi-Token-Vorhersage (MTP), die durch ein Meta-Papier aus dem Jahr 2024 populär gemacht und in DeepSeek-V3 übernommen wurde, fügt besonders leichte Ausgabeköpfe hinzu, sodass das Modell gleichzeitig den nächsten Token sowie den 2., 3. und 4. Token voraus aus demselben verborgenen Zustand vorhersagt. Dies zwingt das Netzwerk dazu, weiter in die Zukunft zu planen und verdichtet das Trainingssignal – jede Position trägt nun mehrere Verlustterme bei. Meta berichtete über besonders große Fortschritte bei der Codierung und dem generativen Denken, wobei größere Modelle stärker davon profitierten. Entscheidend ist, dass die zusätzlichen Köpfe nach dem Training verworfen werden können, sodass die Modellgröße beim Einsatz nicht wachsen muss.
Technischer Einblick
MTP befestigt n unabhängige Vorhersageköpfe über dem gemeinsamen Transformatorstamm; head k sagt den Token an Position t+k aus der Darstellung an Position t voraus. Die Verluste werden während des Trainings summiert. Bei der Inferenz ermöglichen die Hilfsköpfe eine selbstspekulative Dekodierung: Das Modell schlägt mehrere Token in einem Durchgang vor und überprüft sie dann, wodurch eine bis zu etwa dreimal schnellere Generierung erreicht wird, ohne die Ausgabeverteilung zu ändern.
Strategische Auswirkungen
Geschwindigkeit und Umfang
Sprachworkflows können schneller ablaufen, ohne dass die Konsistenz darunter leidet.
Zugang und Erreichbarkeit
Es erweitert den Zugang über Sprachen und Kommunikationsstile hinweg.
Klarere Entscheidungen
Teams können mehr Zeit für die Beurteilung aufwenden, während die Automatisierung die Wiederholungen bewältigt.
Die Zukunft des Multi-Token-Vorhersagetrainings
MTP wird zu einer Standardzutat in Frontier-Trainingsrezepten, da es sowohl die Qualität als auch die Inferenzgeschwindigkeit bei geringen Kosten verbessert. Erwarten Sie eine engere Integration mit spekulativer Dekodierung, tiefere Vorhersagehorizonte und die Verwendung als Hilfsziel, das die Planung über einen langen Zeitraum verbessert. In Kombination mit Argumentationsmodellen kann die Vorhersage mehrerer Schritte im Voraus dazu beitragen, dass Modelle intern Konsequenzen simulieren, bevor sie sich auf eine Antwort festlegen.
Reale Umsetzung
DeepSeek-V3 nutzt ein MTP-Ziel während des Vortrainings, um die Dateneffizienz zu steigern und spekulative Dekodierung zu ermöglichen
Die Codegenerierungsmodelle von Meta zeigen Genauigkeitsgewinne bei HumanEval und MBPP durch die Vorhersage mehrerer Token
Selbstspekulative Dekodierung: Entwurf von 3–4 Token pro Vorwärtsdurchlauf und anschließende Überprüfung für eine schnellere, verteilungserhaltende Ausgabe
Schnellere Autovervollständigung in Codierassistenten, bei denen mehrere plausible Token in einem Schritt vorgeschlagen und überprüft werden
Risiken und Leitplanken
Halluzinierte Fakten können still und leise in Berichte, Support-Flows oder Forschungsergebnisse einfließen.
Eine schnelle Sensibilität kann bei ähnlichen Anfragen zu inkonsistenten Ergebnissen führen.
Sensible Textdaten können offengelegt werden, wenn die Zugriffskontrollen schwach sind.
Implementierungs-Roadmap
Definieren Sie vor dem Rollout Ausgabeformat, Ton und Qualitätsstandards.
Bodenantworten mit vertrauenswürdigen Quellen, wann immer es auf Genauigkeit ankommt.
Halten Sie einen Kontrollpunkt für die menschliche Überprüfung für Ergebnisse mit hohem Risiko ein.
Verfolgen Sie Fehlermuster und trainieren Sie Eingabeaufforderungen oder Arbeitsabläufe regelmäßig neu.
Entdecken Sie weiter
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Multi-Token Prediction Training quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Nächster Leitfaden
Spekulatives Streaming und Multi-Token-Vorhersage
Häufig gestellte Fragen
What is Multi-Token Prediction Training?
Anstatt nur den nächsten Token vorherzusagen, wird das Modell darauf trainiert, mehrere zukünftige Token gleichzeitig vorherzusagen. Dies schärft die Lernsignale und ermöglicht eine schnellere Schlussfolgerung durch selbstspekulative Dekodierung.
Welchen Mehrwert bietet die Multi-Token-Vorhersage im Vergleich zum Standard-Next-Token-Training?
MTP fügt zusätzliche Ausgabeköpfe hinzu, sodass das Modell den nächsten Token plus mehrere Token vorhersagt, die weiter von einem verborgenen Zustand entfernt liegen.
Welches Modell verwendete im Vortraining insbesondere ein Multi-Token-Vorhersageziel?
DeepSeek-V3 hat ein MTP-Trainingsziel übernommen, um die Dateneffizienz zu verbessern und spekulative Dekodierung zu ermöglichen.
Warum verdichtet MTP das Trainingssignal?
Die Vorhersage mehrerer zukünftiger Token bedeutet, dass jede Token-Position mehrere Vorhersageverluste verursacht, wodurch mehr Lernsignal pro Token entsteht.
Welchen Inferenzvorteil ermöglichen die zusätzlichen Vorhersageköpfe?
Die Hilfsköpfe können pro Durchgang mehrere Token entwerfen, die dann überprüft werden, wodurch die Generierung beschleunigt wird, ohne die Ausgabeverteilung zu ändern.
Was passiert mit den Hilfsköpfen nach dem Training, wenn man keine Beschleunigungen braucht?
Die zusätzlichen Köpfe sind beim Einsatz optional; Wenn Sie sie verwerfen, behält das Modell die gleiche Größe wie ein Standard-Next-Token-Modell.