Quiz lié à un guide · Moyen Niveau

Quiz sur le forçage des enseignants dans les modèles de séquence

Vérifie comment les préfixes de vérité terrain entraînent un décodeur de séquence, comment les masques causals prennent en charge l'entraînement parallèle et pourquoi l'inférence diffère.

Chemins de guidage associésForçage des enseignants dans les modèles de séquence
Question 1 de 8

Lors du forçage de l'enseignant, qu'est-ce qui est fourni comme entrée à chaque étape de décodage ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Lors du forçage de l'enseignant, qu'est-ce qui est fourni comme entrée à chaque étape de décodage ?
    • Le jeton précédent de la vérité terrain
    • La prédiction précédente du modèle
    • Un jeton aléatoire
    • Le jeton de sortie final
  2. During teacher-forced training, what target is paired with decoder input y_(t−1)?
    • The previous ground-truth token
    • The next target token y_t
    • A token sampled from the validation set
    • The maximum-probability output from an earlier training run
  3. L’inadéquation train-test causée par le forçage des enseignants est connue sous le nom de :
    • Des dégradés qui disparaissent
    • Réduire le mode
    • Biais d'exposition
    • Fuite d'étiquette
  4. Dans un décodeur Transformer, quel mécanisme permet à la formation forcée des enseignants de se dérouler en parallèle sur tous les postes ?
    • Abandon
    • Normalisation par lots
    • Recherche de faisceau
    • Un masque d’attention causal (anticipatif)
  5. Au moment de l'inférence, pourquoi le forçage des enseignants ne peut-il pas être utilisé ?
    • Il n’y a pas de futurs jetons de vérité terrain à nourrir
    • La fonction de perte n'est pas disponible
    • Le GPU est trop lent
    • Les masques d'attention sont désactivés
  6. Quelle perte est généralement utilisée à chaque étape de la formation forcée des enseignants ?
    • Erreur quadratique moyenne sur les logits bruts
    • Entropie croisée entre la distribution prédite et le véritable prochain jeton
    • Perte de charnière sur les encastrements
    • Perte de similarité cosinus
  7. The target sequence is “red, blue, green.” Under teacher forcing, which token is supplied when training the prediction of “green”?
    • The model’s prediction for “green”
    • The future token after “green”
    • The ground-truth previous token “blue”
    • A randomly sampled vocabulary item
  8. At decoder position t, which tokens must a causal attention mask block?
    • The source sequence
    • All earlier target tokens
    • The current position’s own input
    • Target tokens at positions later than t