Quiz lié à un guide · Difficile Niveau

Quiz sur l'échantillonnage programmé et le biais d'exposition

Vérifie comment l'échantillonnage planifié modifie le contexte du décodeur, pourquoi sa probabilité de jeton d'or diminue et les compromis de gradient de l'échantillonnage.

Chemins de guidage associésÉchantillonnage programmé et biais d’exposition
Question 1 de 8

Le biais d'exposition survient parce que les modèles formés avec le forçage des enseignants ne sont conditionnés qu'à :

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Le biais d'exposition survient parce que les modèles formés avec le forçage des enseignants ne sont conditionnés qu'à :
    • Jetons de vérité terrain, mais doivent utiliser les leurs propres lors de l'inférence
    • Leurs propres jetons prédits
    • Jetons de bruit aléatoire
    • Futurs jetons
  2. À quoi sert l’échantillonnage programmé pendant la formation ?
    • Nourrit toujours le vrai jeton
    • Choisit au hasard entre le vrai jeton et la propre prédiction du modèle
    • Désactive périodiquement la fonction de perte
    • Double le taux d'apprentissage au fil du temps
  3. Comment la probabilité d'utiliser le jeton de vérité terrain change-t-elle au cours de la formation dans le cadre d'un échantillonnage programmé ?
    • Cela reste constant
    • Il commence bas et augmente
    • Il commence haut et décroît vers zéro
    • Il oscille de manière aléatoire
  4. Qui a introduit l’échantillonnage programmé, et à peu près quand ?
    • Vaswani et coll., 2017
    • Hinton et coll., 2006
    • LeCun et coll., 1998
    • Bengio et coll., 2015
  5. Un inconvénient technique reconnu de la réinjection des jetons échantillonnés pendant la formation est le suivant :
    • L'étape d'échantillonnage discrète est non différenciable, ce qui complique les gradients
    • Cela rend la formation entièrement déterministe
    • Il ne nécessite aucune donnée de validation
    • Cela élimine le besoin d’intégrations
  6. Quelle forme d’horaire est communément citée pour diminuer la probabilité de forçage des enseignants ?
    • Constante
    • Carie sigmoïde inverse
    • Augmentation linéaire progressive
    • Marche aléatoire
  7. At a decoding step where scheduled sampling chooses the model-output branch, what is fed as the next context token?
    • The next ground-truth token every time
    • A token from a separate validation sequence
    • A token sampled from the model’s predicted distribution
    • The average of all vocabulary embeddings
  8. Why does scheduled sampling usually begin with a high probability of using ground truth?
    • It guarantees unbiased gradients
    • It removes the need for a training schedule
    • It makes inference use ground-truth tokens
    • Early predictions are poor, so a correct prefix can stabilize initial learning