Voorspelling van het volgende token
Next-token-voorspelling is het bedrieglijk eenvoudige doel achter modellen in GPT-stijl: gegeven alles tot nu toe, raad het volgende stuk tekst.
Overzicht
Repeated billions of times, this single task produces models that write, reason, and converse.
Diepe duik
Voorspelling van het volgende token traint een model om kansen toe te wijzen aan het volgende token, gegeven alle voorgaande tokens. Tekst wordt eerst opgedeeld in tokens (subwoordstukken) door een tokenizer, zoals byte-paarcodering. Een Transformer die alleen voor een decoder geschikt is, leest de reeks van links naar rechts en voert een waarschijnlijkheidsverdeling uit over het gehele vocabulaire voor de volgende positie. Tijdens de training krijgt het model enorme tekstcorpora te zien en wordt het bestraft als het een lage waarschijnlijkheid toekent aan het daadwerkelijke volgende token. Tijdens het genereren bemonstert of kiest het model gretig een token, voegt het toe en herhaalt deze lus autoregressief. Deze ene doelstelling schaalt opmerkelijk: GPT-2, GPT-3 en opvolgers leerden allemaal grammatica, feiten, vertalingen en redeneren puur door heel goed te worden in het voorspellen van het volgende token.
Technisch inzicht
Het belangrijkste mechanisme is causale (gemaskeerde) zelfaandacht: bij het voorspellen van positie N houdt het model mogelijk alleen rekening met posities 1 tot en met N-1, nooit met de toekomst. De uitvoerlaag projecteert de uiteindelijke verborgen status op het vocabulaire en past softmax toe om waarschijnlijkheden te verkrijgen. Training minimaliseert kruis-entropie, wat overeenkomt met het maximaliseren van de waarschijnlijkheid van de waargenomen tekst. Bemonsteringsregelaars zoals temperatuur en top-p hervormen die distributie bij gevolgtrekking om creativiteit in te ruilen voor betrouwbaarheid.
Strategische impact
Speed and scale
Taalworkflows kunnen sneller verlopen zonder dat dit ten koste gaat van de consistentie.
Access and reach
Het breidt de toegang uit naar meerdere talen en communicatiestijlen.
Clearer decisions
Teams kunnen meer tijd besteden aan beoordeling, terwijl automatisering de herhaling afhandelt.
De toekomst van voorspelling van volgende tokens
Next-token-voorspelling ligt ten grondslag aan vrijwel alle moderne grote taalmodellen en zal de ruggengraat blijven van generatieve AI. Onderzoek breidt het uit met langere contextvensters, speculatieve en parallelle decodering voor snelheid, en multi-token voorspellingsdoelstellingen die meerdere toekomstige tokens tegelijk raden. Versterk het leren van menselijke feedbacklagen erboven om de resultaten op elkaar af te stemmen. De grens is het goedkoper, sneller en beter beheersbaar maken van hetzelfde eenvoudige doel op steeds grotere schaal.
Implementatie in de echte wereld
Het inschakelen van ChatGPT en vergelijkbare assistenten om gespreksreacties één token tegelijk te genereren.
Automatisch aanvullen en codesuggesties in tools zoals GitHub Copilot terwijl u typt.
Het opstellen van e-mails, artikelen en marketingteksten vanuit een korte prompt.
Realtime tekstgeneratie in schrijfassistenten die uw zinnen afmaken.
Risico's en vangrails
Gehallucineerde feiten kunnen stilletjes rapporten binnendringen, stromen ondersteunen of onderzoeksresultaten opleveren.
Gevoeligheid voor prompts kan inconsistente resultaten opleveren voor vergelijkbare verzoeken.
Gevoelige tekstgegevens kunnen openbaar worden gemaakt als de toegangscontroles zwak zijn.
Implementatie routekaart
Definieer het uitvoerformaat, de toon en de kwaliteitsnormen vóór de implementatie.
Grondreacties met vertrouwde bronnen wanneer nauwkeurigheid belangrijk is.
Houd een menselijk controlepunt bij voor resultaten met een hoge inzet.
Houd faalpatronen bij en train prompts of workflows regelmatig opnieuw.
Blijf verkennen
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Next-Token Prediction quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Voorspellingstraining met meerdere tokens
Frequently asked questions
What is Next-Token Prediction?
Next-token-voorspelling is het bedrieglijk eenvoudige doel achter modellen in GPT-stijl: gegeven alles tot nu toe, raad het volgende stuk tekst. Miljarden keren herhaald, levert deze ene taak modellen op die schrijven, redeneren en converseren.
Wat levert een next-token-voorspellingsmodel bij elke stap op?
Het model produceert een waarschijnlijkheid voor elk mogelijk volgend token, waarna er één wordt geselecteerd via steekproeven of een hebzuchtige keuze.
Welk type aandacht gebruikt een decoder in GPT-stijl?
Causale maskering zorgt ervoor dat positie N alleen posities ervoor kan zien, waardoor de voorspellingsopstelling van links naar rechts behouden blijft.
Wat betekent 'autoregressieve' generatie hier?
Autoregressieve generatie produceert één token, voegt dit toe aan de context en herhaalt de lus.
Welke verliesfunctie wordt doorgaans geminimaliseerd tijdens de training?
Cross-entropie bestraft het model voor het toekennen van een lage waarschijnlijkheid aan het echte volgende token, wat overeenkomt met het maximaliseren van de waarschijnlijkheid.
Wat doet het verhogen van de temperatuur tijdens de bemonstering?
Een hogere temperatuur vlakt de waarschijnlijkheidsverdeling af, waardoor de willekeur toeneemt; lagere temperaturen maken keuzes conservatiever.