Vorhersage des nächsten Tokens
Die Vorhersage des nächsten Tokens ist das täuschend einfache Ziel hinter GPT-Modellen: Erraten Sie unter Berücksichtigung aller bisherigen Erkenntnisse den nächsten Textblock.
Übersicht
Repeated billions of times, this single task produces models that write, reason, and converse.
Tiefer Einblick
Die Vorhersage des nächsten Tokens trainiert ein Modell, um dem nächsten Token Wahrscheinlichkeiten zuzuweisen, wenn alle vorherigen Token vorhanden sind. Der Text wird zunächst durch einen Tokenizer wie die Byte-Paar-Kodierung in Token (Teilwortteile) zerlegt. Ein reiner Decoder-Transformer liest die Sequenz von links nach rechts und gibt eine Wahrscheinlichkeitsverteilung über das gesamte Vokabular für die nächste Position aus. Während des Trainings werden dem Modell riesige Textkorpora angezeigt und es wird bestraft, wenn es dem tatsächlichen nächsten Token eine geringe Wahrscheinlichkeit zuweist. Zum Zeitpunkt der Generierung tastet das Modell ein Token ab oder wählt es gierig aus, hängt es an und wiederholt diese Schleife autoregressiv. Dieses eine Ziel lässt sich bemerkenswert skalieren: GPT-2, GPT-3 und ihre Nachfolger lernten alle Grammatik, Fakten, Übersetzung und Argumentation, indem sie einfach sehr gut darin wurden, den nächsten Token vorherzusagen.
Technischer Einblick
Der Schlüsselmechanismus ist die kausale (maskierte) Selbstaufmerksamkeit: Bei der Vorhersage von Position N kümmert sich das Modell möglicherweise nur um die Positionen 1 bis N-1, niemals um die Zukunft. Die Ausgabeschicht projiziert den endgültigen verborgenen Zustand auf das Vokabular und wendet Softmax an, um Wahrscheinlichkeiten zu erhalten. Das Training minimiert die Kreuzentropie, was einer Maximierung der Wahrscheinlichkeit des beobachteten Textes entspricht. Stichprobenkontrollen wie Temperatur und Top-P formen diese Verteilung bei der Schlussfolgerung um, um Kreativität gegen Zuverlässigkeit abzuwägen.
Strategische Auswirkungen
Geschwindigkeit und Umfang
Sprachworkflows können schneller ablaufen, ohne dass die Konsistenz darunter leidet.
Zugang und Erreichbarkeit
Es erweitert den Zugang über Sprachen und Kommunikationsstile hinweg.
Klarere Entscheidungen
Teams können mehr Zeit für die Beurteilung aufwenden, während die Automatisierung die Wiederholungen bewältigt.
Die Zukunft der Next-Token-Vorhersage
Die Next-Token-Vorhersage liegt im Wesentlichen allen modernen großen Sprachmodellen zugrunde und wird das Rückgrat der generativen KI bleiben. Die Forschung erweitert es um längere Kontextfenster, spekulative und parallele Dekodierung für mehr Geschwindigkeit und Multi-Token-Vorhersageziele, die mehrere zukünftige Token gleichzeitig erraten. Verstärkendes Lernen aus menschlichen Feedback-Ebenen darüber, um die Ergebnisse auszurichten. Die Grenze besteht darin, dasselbe einfache Ziel in immer größerem Maßstab billiger, schneller und kontrollierbarer zu machen.
Reale Umsetzung
Unterstützt ChatGPT und ähnliche Assistenten, um Konversationsantworten Token für Token zu generieren.
Automatische Vervollständigung und Codevorschläge in Tools wie GitHub Copilot während der Eingabe.
Verfassen von E-Mails, Artikeln und Marketingtexten nach einer kurzen Eingabeaufforderung.
Textgenerierung in Echtzeit in Schreibassistenten, die Ihre Sätze vervollständigen.
Risiken und Leitplanken
Halluzinierte Fakten können still und leise in Berichte, Support-Flows oder Forschungsergebnisse einfließen.
Eine schnelle Sensibilität kann bei ähnlichen Anfragen zu inkonsistenten Ergebnissen führen.
Sensible Textdaten können offengelegt werden, wenn die Zugriffskontrollen schwach sind.
Implementierungs-Roadmap
Definieren Sie vor dem Rollout Ausgabeformat, Ton und Qualitätsstandards.
Bodenantworten mit vertrauenswürdigen Quellen, wann immer es auf Genauigkeit ankommt.
Halten Sie einen Kontrollpunkt für die menschliche Überprüfung für Ergebnisse mit hohem Risiko ein.
Verfolgen Sie Fehlermuster und trainieren Sie Eingabeaufforderungen oder Arbeitsabläufe regelmäßig neu.
Entdecken Sie weiter
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Next-Token Prediction quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Nächster Leitfaden
Multi-Token-Vorhersagetraining
Häufig gestellte Fragen
What is Next-Token Prediction?
Die Vorhersage des nächsten Tokens ist das täuschend einfache Ziel hinter GPT-Modellen: Erraten Sie unter Berücksichtigung aller bisherigen Erkenntnisse den nächsten Textblock. Diese einzelne Aufgabe wird milliardenfach wiederholt und erzeugt Modelle, die schreiben, argumentieren und sich unterhalten.
Was gibt ein Next-Token-Vorhersagemodell bei jedem Schritt aus?
Das Modell erzeugt eine Wahrscheinlichkeit für jeden möglichen nächsten Token, dann wird einer durch Stichprobenziehung oder Greedy Choice ausgewählt.
Welche Art von Aufmerksamkeit verwendet ein Decoder im GPT-Stil?
Durch die kausale Maskierung wird sichergestellt, dass Position N nur Positionen davor sehen kann, wodurch der Vorhersageaufbau von links nach rechts erhalten bleibt.
Was bedeutet hier „autoregressive“ Generierung?
Die autoregressive Generierung erzeugt ein Token, fügt es dem Kontext hinzu und wiederholt die Schleife.
Welche Verlustfunktion wird während des Trainings normalerweise minimiert?
Kreuzentropie bestraft das Modell dafür, dass es dem wahren nächsten Token eine geringe Wahrscheinlichkeit zuweist, was einer Maximierung der Wahrscheinlichkeit entspricht.
Was bewirkt eine Erhöhung der Temperatur während der Probenahme?
Eine höhere Temperatur flacht die Wahrscheinlichkeitsverteilung ab und erhöht die Zufälligkeit. Eine niedrigere Temperatur macht Entscheidungen konservativer.