Quiz d'apprentissage par imitation

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. Dans l’apprentissage par imitation, comment un agent acquiert-il son comportement ?
   • Apprendre une politique en copiant des démonstrations d’experts
   • Maximiser une récompense conçue à la main grâce à une exploration aléatoire
   • Compresser un réseau neuronal pour fonctionner sur de petits appareils
   • Générer des images à partir d'invites de texte
2. Le clonage comportemental définit l'apprentissage par imitation comme quel type de problème ?
   • Clustering non supervisé
   • Apprentissage supervisé des mappages état-action
   • Génération contradictoire
   • Façonnage des récompenses
3. Quel problème provoque l’échec du clonage comportemental après de longues séquences d’actions ?
   • Surapprentissage de la fonction de récompense
   • Disparition des dégradés dans l'encodeur
   • Erreur cumulée due au changement de distribution
   • Oubli catastrophique des anciennes classes
4. Comment l’algorithme DAgger résout-il cette faiblesse ?
   • En supprimant complètement l'expert de la boucle
   • En augmentant le facteur de remise
   • En ajoutant du bruit aléatoire à toutes les actions
   • En interrogeant l'expert sur les états que l'apprenant visite réellement et en agrégeant ces données
5. Pourquoi l’apprentissage par imitation est-il souvent préféré à l’apprentissage par renforcement pour des tâches comme la conduite automobile ?
   • Les démonstrations sont plus faciles à fournir qu'une fonction de récompense correcte
   • Il garantit un comportement optimal
   • Il n'a jamais besoin de données
   • Il fonctionne plus rapidement lors de l'inférence uniquement
6. What is a realistic limitation of behavioral cloning when the agent reaches states outside the demonstrations?
   • It is guaranteed to improve beyond the expert
   • Its behavior is not guaranteed there because those states may be out of distribution
   • It can only produce random actions
   • It automatically queries an expert at every step
7. In one DAgger iteration, what does the learner do before requesting expert labels?
   • Deletes all earlier demonstrations
   • Trains only on randomly generated labels
   • Rolls out its current policy and records the states it actually visits
   • Replaces the expert policy permanently
8. After the expert labels the states visited by the current policy, what happens to that data?
   • It is used only as an evaluation metric
   • It replaces the original observation space
   • It is discarded after one gradient step
   • It is aggregated with previous labeled data for retraining