Mit dem Guide verknüpftes Quiz · Mittel Ebene

Quiz zur Vorhersage des nächsten Tokens

Überprüfen Sie das autoregressive Sprachmodelltraining, den kausalen Kontext, den Lehrerzwang und den Unterschied zwischen Training und Generation.

Verwandte FührungspfadeVorhersage des nächsten Tokens
Frage 1 von 8

Was gibt ein Next-Token-Vorhersagemodell bei jedem Schritt aus?

Sehen Sie sich jede Frage in der Vorschau an8 Fragen

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

  1. Was gibt ein Next-Token-Vorhersagemodell bei jedem Schritt aus?
    • Eine Wahrscheinlichkeitsverteilung über das Vokabular für das nächste Token
    • Ein einziges festes Wort
    • Eine Übersetzung des Satzes
    • Eine Grammatikpartitur
  2. Welche Art von Aufmerksamkeit verwendet ein Decoder im GPT-Stil?
    • Bidirektionale Aufmerksamkeit
    • Kausale (maskierte) Aufmerksamkeit, die zukünftige Zeichen verbirgt
    • Überhaupt keine Aufmerksamkeit
    • Zufällige Aufmerksamkeit
  3. Was bedeutet hier „autoregressive“ Generierung?
    • Das Modell generiert alle Token auf einmal
    • Das Modell regressiert auf einen Mittelwert
    • Jeder neue Token wird angehängt und wieder eingespeist, um den nächsten vorherzusagen
    • Token werden in zufälliger Reihenfolge generiert
  4. Welche Verlustfunktion wird während des Trainings normalerweise minimiert?
    • Mittlerer quadratischer Fehler
    • Scharnierverlust
    • Kosinusabstand
    • Kreuzentropie über dem nächsten Token
  5. Was bewirkt eine Erhöhung der Temperatur während der Probenahme?
    • Macht die Ausgabe zufälliger und kreativer
    • Macht die Ausgabe streng deterministisch
    • Erhöht den Wortschatz
    • Entfernt die Softmax-Ebene
  6. Wie wird Rohtext vor der Vorhersage normalerweise vorbereitet?
    • Es ist ins Englische übersetzt
    • Es wird durch einen Tokenizer in Token aufgeteilt
    • Es wird in Audio umgewandelt
    • Es bleiben die Rohzeichen ohne Verarbeitung übrig
  7. During next-token training, what is teacher forcing?
    • The model receives future target tokens before the input
    • The model randomly changes the tokenizer at every step
    • The model receives the ground-truth preceding tokens when predicting the next token
    • The model always samples its own previous prediction during training
  8. What mismatch can arise because generation feeds back model-produced tokens?
    • The model can no longer use attention
    • The vocabulary disappears after the first token
    • The model’s loss is computed only on images
    • Errors in generated prefixes can affect later predictions, unlike training on the ground-truth prefix