Quiz Q-Learning

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. Que représente la valeur Q Q(s, a) ?
   • La récompense attendue à long terme d'une action a dans un état s, puis d'une action optimale
   • La probabilité d'être dans l'état s
   • Le nombre de fois où l'action a a été tentée
   • La récompense immédiate uniquement pour l'action a
2. Pourquoi Q-Learning est-il décrit comme « hors politique » ?
   • Cela nécessite un modèle de l’environnement
   • Il peut apprendre la politique optimale tout en suivant une politique exploratoire différente.
   • Cela ne fonctionne que hors ligne sur les données stockées
   • Il ignore complètement les récompenses
3. Dans la règle de mise à jour, que contrôle le facteur d'actualisation gamma ?
   • Le taux d'exploration
   • La taille de la table d'état
   • Dans quelle mesure les récompenses futures sont pondérées par rapport aux récompenses immédiates
   • Le nombre d'épisodes
4. Qu'est-ce que l'erreur de différence temporelle (TD) dans Q-Learning ?
   • La différence entre deux états
   • La récompense totale d'un épisode
   • Le taux d'apprentissage multiplié par gamma
   • r + gamma*max Q(s',a') moins l'estimation actuelle de Q(s,a)
5. Pourquoi le Q-Learning tabulaire simple a-t-il du mal à résoudre de gros problèmes comme les jeux vidéo à partir de pixels ?
   • Le nombre d'états distincts est trop grand pour être stocké dans un tableau
   • Il ne peut pas utiliser de récompenses
   • Cela ne fonctionne qu'avec deux actions
   • Gamma doit être égal à 1
6. Quel est le but de la sélection d'actions gourmande en Epsilon ?
   • Pour toujours choisir l'action de valeur Q la plus élevée
   • Équilibrer l’exploration de nouvelles actions avec l’exploitation des bonnes actions connues
   • Pour définir le facteur de remise
   • Pour stocker la table Q
7. What exploration condition appears in the tabular Q-learning convergence result?
   • Only the greedy action is ever sampled
   • Each state must be visited exactly once
   • Every state-action pair must be visited repeatedly under suitable learning conditions
   • The transition model must be known in advance
8. Why is Q-learning called model-free?
   • It never observes the environment
   • It does not use rewards
   • It requires a complete transition table before learning
   • It updates values from sampled rewards and next states without storing transition probabilities