Quiz d'apprentissage par renforcement hors ligne

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. Qu'est-ce qui définit l'apprentissage par renforcement hors ligne (par lots) ?
   • Apprendre à partir d'un ensemble de données fixe sans nouvelle interaction avec l'environnement
   • Apprendre uniquement grâce à une exploration continue en direct
   • Entraînement sans aucun signal de récompense
   • Exécuter l'inférence sans aucun modèle
2. Quel est le défi technique central du RL hors ligne ?
   • Absence de données
   • Changement de distribution et surestimation des actions hors distribution
   • Exploration en ligne excessive
   • Trop peu de paramètres dans le réseau
3. What does D4RL provide to researchers evaluating offline reinforcement-learning algorithms?
   • A guarantee that an offline policy is safe to deploy
   • A new optimizer that removes the need for logged data
   • A benchmark suite of datasets and tasks for offline RL evaluation
   • A dataset containing only online interactions collected by each test policy
4. Comment le Q-Learning conservateur (CQL) combat-il la surestimation ?
   • En gonflant les valeurs pour des actions invisibles
   • En supprimant entièrement la récompense
   • En explorant davantage dans le monde réel
   • En régularisant les valeurs Q à la baisse pour les actions hors distribution
5. Comment le Decision Transformer recadre-t-il le RL hors ligne ?
   • En tant que modélisation de séquence qui prédit les actions conditionnées au retour souhaité
   • En tant que regroupement d'États
   • Comme recherche purement aléatoire
   • En tant que classification d'images supervisée
6. Pourquoi les algorithmes RL en ligne standard ne peuvent-ils pas simplement être utilisés tels quels hors ligne ?
   • Ils n'ont pas de réseau neuronal
   • Ils ne peuvent pas collecter de données correctives pour corriger la surestimation de la valeur
   • Ils n'utilisent jamais de récompenses
   • Ils ne nécessitent aucune politique
7. How does BCQ reduce reliance on actions absent from an offline dataset?
   • It adds random actions to every training transition
   • It assumes every action has been observed equally often
   • It constrains candidate actions to stay near actions the dataset supports
   • It removes the action-value function and reward
8. What value-learning method is central to the cited Implicit Q-Learning paper?
   • Maximum-likelihood fitting of a language tokenizer
   • Uniform regression over actions sampled from a live environment
   • A supervised image-classification loss
   • Expectile regression over values associated with dataset actions