Quiz d'apprentissage par renforcement inverse

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. Que vise à récupérer l’apprentissage par renforcement inverse ?
   • Une fonction de récompense qui explique le comportement expert observé
   • Un optimiseur plus rapide pour la descente de gradient
   • Une version compressée des démonstrations
   • Un ensemble de données d'image étiquetées
2. Pourquoi le problème IRL est-il décrit comme mal posé ou ambigu ?
   • Parce que les démonstrations sont toujours parfaitement optimales
   • Parce que de nombreuses fonctions de récompense différentes peuvent expliquer le même comportement
   • Parce que les récompenses doivent toujours être négatives
   • Parce qu'il ne nécessite aucune donnée d'expert
3. Quel est l’avantage clé de la récupération d’une récompense par rapport au clonage comportemental ?
   • Cela ne nécessite aucune démonstration
   • Il fonctionne toujours en temps constant
   • Il capture l'objectif sous-jacent, en le généralisant à des états invisibles
   • Cela évite d'utiliser une politique
4. Comment l’IRL à entropie maximale résout-elle l’ambiguïté des récompenses ?
   • En forçant toutes les récompenses à être égales
   • En ignorant complètement les trajectoires sous-optimales
   • En supprimant la fonction de récompense
   • En modélisant la probabilité de trajectoire comme exponentielle dans la récompense totale
5. Une fois qu’IRL a récupéré une fonction de récompense, que se passe-t-il généralement ensuite ?
   • L'apprentissage par renforcement standard dérive une politique de cette récompense
   • La récompense est rejetée
   • Les démonstrations sont supprimées pour gagner de la place
   • L'agent arrête d'apprendre
6. Dans quel scénario l’IRL est-il particulièrement utile ?
   • Quand la récompense est déjà parfaitement connue
   • Lorsque vous souhaitez comprendre et généraliser les objectifs derrière le comportement d'un expert
   • Lorsqu'aucune donnée de comportement n'existe
   • Quand il suffit de mémoriser des actions fixes
7. Why can a constant zero reward explain many different expert policies?
   • It assigns the highest reward only to expert actions
   • It proves the expert is optimal
   • Every policy receives the same return, so none is preferred by the reward
   • It makes the transition model deterministic
8. In maximum-entropy IRL, how are higher-reward trajectories treated relative to lower-reward ones?
   • They are assigned probability zero
   • They are treated as equally likely regardless of reward
   • They are removed before policy learning
   • They receive higher probability, with probability depending exponentially on total reward