Quiz lié à un guide · Moyen Niveau

Quiz de prédiction du jeton suivant

Passez en revue la formation sur le modèle linguistique autorégressif, le contexte causal, le forçage des enseignants et la différence entre la formation et la génération.

Chemins de guidage associésPrédiction du prochain jeton
Question 1 de 8

Que produit un modèle de prédiction du prochain jeton à chaque étape ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Que produit un modèle de prédiction du prochain jeton à chaque étape ?
    • Une distribution de probabilité sur le vocabulaire pour le prochain jeton
    • Un seul mot fixe
    • Une traduction de la phrase
    • Une partition de grammaire
  2. Quel type d’attention un décodeur de style GPT utilise-t-il ?
    • Attention bidirectionnelle
    • Attention causale (masquée) qui cache les futurs jetons
    • Aucune attention du tout
    • Attention aléatoire
  3. Que signifie ici la génération « autorégressive » ?
    • Le modèle génère tous les jetons à la fois
    • Le modèle régresse vers une valeur moyenne
    • Chaque nouveau jeton est ajouté et réinjecté pour prédire le suivant
    • Les jetons sont générés dans un ordre aléatoire
  4. Quelle fonction de perte est généralement minimisée pendant l’entraînement ?
    • Erreur quadratique moyenne
    • Perte de charnière
    • Distance cosinus
    • Entropie croisée sur le prochain jeton
  5. À quoi sert l’augmentation de la température pendant l’échantillonnage ?
    • Rend la sortie plus aléatoire et créative
    • Rend la sortie strictement déterministe
    • Augmente la taille du vocabulaire
    • Supprime la couche softmax
  6. Avant la prédiction, comment le texte brut est-il généralement préparé ?
    • Il est traduit en anglais
    • Il est divisé en jetons par un tokenizer
    • Il est converti en audio
    • Il est laissé sous forme de caractères bruts sans traitement
  7. During next-token training, what is teacher forcing?
    • The model receives future target tokens before the input
    • The model randomly changes the tokenizer at every step
    • The model receives the ground-truth preceding tokens when predicting the next token
    • The model always samples its own previous prediction during training
  8. What mismatch can arise because generation feeds back model-produced tokens?
    • The model can no longer use attention
    • The vocabulary disappears after the first token
    • The model’s loss is computed only on images
    • Errors in generated prefixes can affect later predictions, unlike training on the ground-truth prefix