Gids-gekoppelde quiz · Middelmatig Niveau

Quiz voor volgende tokenvoorspelling

Bekijk autoregressieve taalmodeltraining, causale context, teacher forcing en het verschil tussen training en generatie.

Gerelateerde gidspadenVolgende tokenvoorspelling
Vraag 1 van 8

Wat levert een next-token-voorspellingsmodel bij elke stap op?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat levert een next-token-voorspellingsmodel bij elke stap op?
    • Een waarschijnlijkheidsverdeling over de woordenschat voor het volgende token
    • Eén vast woord
    • Een vertaling van de zin
    • Een grammaticascore
  2. Welk type aandacht gebruikt een decoder in GPT-stijl?
    • Bidirectionele aandacht
    • Causale (gemaskeerde) aandacht die toekomstige tokens verbergt
    • Helemaal geen aandacht
    • Willekeurige aandacht
  3. Wat betekent 'autoregressieve' generatie hier?
    • Het model genereert alle tokens in één keer
    • Het model regressief naar een gemiddelde waarde
    • Elk nieuw token wordt toegevoegd en teruggekoppeld om de volgende te voorspellen
    • Tokens worden in willekeurige volgorde gegenereerd
  4. Welke verliesfunctie wordt doorgaans geminimaliseerd tijdens de training?
    • Gemiddelde kwadratische fout
    • Scharnier verlies
    • Cosinus afstand
    • Cross-entropie over het volgende token
  5. Wat doet het verhogen van de temperatuur tijdens de bemonstering?
    • Maakt de uitvoer willekeuriger en creatiever
    • Maakt de uitvoer strikt deterministisch
    • Vergroot de woordenschatgrootte
    • Verwijdert de softmax-laag
  6. Hoe wordt ruwe tekst gewoonlijk voorbereid vóór de voorspelling?
    • Het is vertaald naar het Engels
    • Het wordt door een tokenizer in tokens opgesplitst
    • Het wordt omgezet naar audio
    • Het blijft achter als onbewerkte karakters zonder enige verwerking
  7. During next-token training, what is teacher forcing?
    • The model receives future target tokens before the input
    • The model randomly changes the tokenizer at every step
    • The model receives the ground-truth preceding tokens when predicting the next token
    • The model always samples its own previous prediction during training
  8. What mismatch can arise because generation feeds back model-produced tokens?
    • The model can no longer use attention
    • The vocabulary disappears after the first token
    • The model’s loss is computed only on images
    • Errors in generated prefixes can affect later predictions, unlike training on the ground-truth prefix