DalšíDalší průvodce
Trénink predikce s více tokeny
Jazyk AI
Jazyk AI GUIDE
Next-token prediction trains a causal language model to estimate the next token from a preceding context.
Poslechněte si tento návodAI-vyprávěný · ~1 min
Generation repeats that step, appending each selected token to the context.
The Transformer decoder architecture uses masked self-attention to prevent positions from reading future tokens. GPT-style language models train with a next-token objective over text sequences. At inference, a decoding rule selects a token from the predicted distribution and appends it to the context. Reported capabilities depend on model scale, training data, evaluation and prompting; the cited GPT papers do not guarantee correct output for every task.
A decoder predicts one token distribution conditioned on preceding tokens.
A causal attention mask prevents access to future positions during training.
Teacher forcing uses ground-truth prefixes in training, while generation feeds prior model outputs.
The GPT-2 paper evaluates next-token language modeling and zero-shot task behavior under its model and data conditions.
Evaluate language models on the target task and track error accumulation across long generations. Keep decoding settings and prompt format fixed when comparing results. The cited research does not establish factual reliability or broad product performance from next-token loss alone.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Next-token prediction trains a causal language model to estimate the next token from a preceding context. Generation repeats that step, appending each selected token to the context.
Model vytváří pravděpodobnost pro každý další možný žeton, poté je jeden vybrán vzorkováním nebo chamtivým výběrem.
Kauzální maskování zajišťuje, že pozice N může vidět pouze pozice před ní, přičemž zachovává nastavení predikce zleva doprava.
Autoregresivní generování vytvoří jeden token, přidá ho do kontextu a opakuje smyčku.
Křížová entropie penalizuje model za přiřazení nízké pravděpodobnosti skutečnému dalšímu tokenu, což je ekvivalentní maximalizaci pravděpodobnosti.
Vyšší teplota zplošťuje rozdělení pravděpodobnosti a zvyšuje náhodnost; nižší teplota činí výběr konzervativnějším.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Trénink predikce s více tokeny
Jazyk AI