Gids-gekoppelde quiz · Middelmatig Niveau
Quiz voor volgende tokenvoorspelling
Bekijk autoregressieve taalmodeltraining, causale context, teacher forcing en het verschil tussen training en generatie.
Vraag 1 van 8
Wat levert een next-token-voorspellingsmodel bij elke stap op?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat levert een next-token-voorspellingsmodel bij elke stap op?
- Een waarschijnlijkheidsverdeling over de woordenschat voor het volgende token
- Eén vast woord
- Een vertaling van de zin
- Een grammaticascore
- Welk type aandacht gebruikt een decoder in GPT-stijl?
- Bidirectionele aandacht
- Causale (gemaskeerde) aandacht die toekomstige tokens verbergt
- Helemaal geen aandacht
- Willekeurige aandacht
- Wat betekent 'autoregressieve' generatie hier?
- Het model genereert alle tokens in één keer
- Het model regressief naar een gemiddelde waarde
- Elk nieuw token wordt toegevoegd en teruggekoppeld om de volgende te voorspellen
- Tokens worden in willekeurige volgorde gegenereerd
- Welke verliesfunctie wordt doorgaans geminimaliseerd tijdens de training?
- Gemiddelde kwadratische fout
- Scharnier verlies
- Cosinus afstand
- Cross-entropie over het volgende token
- Wat doet het verhogen van de temperatuur tijdens de bemonstering?
- Maakt de uitvoer willekeuriger en creatiever
- Maakt de uitvoer strikt deterministisch
- Vergroot de woordenschatgrootte
- Verwijdert de softmax-laag
- Hoe wordt ruwe tekst gewoonlijk voorbereid vóór de voorspelling?
- Het is vertaald naar het Engels
- Het wordt door een tokenizer in tokens opgesplitst
- Het wordt omgezet naar audio
- Het blijft achter als onbewerkte karakters zonder enige verwerking
- During next-token training, what is teacher forcing?
- The model receives future target tokens before the input
- The model randomly changes the tokenizer at every step
- The model receives the ground-truth preceding tokens when predicting the next token
- The model always samples its own previous prediction during training
- What mismatch can arise because generation feeds back model-produced tokens?
- The model can no longer use attention
- The vocabulary disappears after the first token
- The model’s loss is computed only on images
- Errors in generated prefixes can affect later predictions, unlike training on the ground-truth prefix