VolgendeVolgende gids
Voorspellingstraining met meerdere tokens
Taal AI
Taal AI-GIDS
Next-token prediction trains a causal language model to estimate the next token from a preceding context.
Luister naar deze gidsAI-verteld · ~1 min
Generation repeats that step, appending each selected token to the context.
The Transformer decoder architecture uses masked self-attention to prevent positions from reading future tokens. GPT-style language models train with a next-token objective over text sequences. At inference, a decoding rule selects a token from the predicted distribution and appends it to the context. Reported capabilities depend on model scale, training data, evaluation and prompting; the cited GPT papers do not guarantee correct output for every task.
A decoder predicts one token distribution conditioned on preceding tokens.
A causal attention mask prevents access to future positions during training.
Teacher forcing uses ground-truth prefixes in training, while generation feeds prior model outputs.
The GPT-2 paper evaluates next-token language modeling and zero-shot task behavior under its model and data conditions.
Evaluate language models on the target task and track error accumulation across long generations. Keep decoding settings and prompt format fixed when comparing results. The cited research does not establish factual reliability or broad product performance from next-token loss alone.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Next-token prediction trains a causal language model to estimate the next token from a preceding context. Generation repeats that step, appending each selected token to the context.
Het model produceert een waarschijnlijkheid voor elk mogelijk volgend token, waarna er één wordt geselecteerd via steekproeven of een hebzuchtige keuze.
Causale maskering zorgt ervoor dat positie N alleen posities ervoor kan zien, waardoor de voorspellingsopstelling van links naar rechts behouden blijft.
Autoregressieve generatie produceert één token, voegt dit toe aan de context en herhaalt de lus.
Cross-entropie bestraft het model voor het toekennen van een lage waarschijnlijkheid aan het echte volgende token, wat overeenkomt met het maximaliseren van de waarschijnlijkheid.
Een hogere temperatuur vlakt de waarschijnlijkheidsverdeling af, waardoor de willekeur toeneemt; lagere temperaturen maken keuzes conservatiever.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Voorspellingstraining met meerdere tokens
Taal AI