Prueba de aprendizaje por refuerzo sin conexión

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Qué define el aprendizaje por refuerzo fuera de línea (por lotes)?
   • Aprender de un conjunto de datos fijo sin interacción con un nuevo entorno
   • Aprender sólo a través de la exploración continua en vivo
   • Entrenamiento sin ninguna señal de recompensa.
   • Ejecutar inferencia sin ningún modelo.
2. ¿Cuál es el desafío técnico central en la vida real fuera de línea?
   • Falta de cualquier dato
   • Cambio distributivo y sobreestimación de acciones fuera de distribución
   • Exploración excesiva en línea
   • Muy pocos parámetros en la red.
3. What does D4RL provide to researchers evaluating offline reinforcement-learning algorithms?
   • A guarantee that an offline policy is safe to deploy
   • A new optimizer that removes the need for logged data
   • A benchmark suite of datasets and tasks for offline RL evaluation
   • A dataset containing only online interactions collected by each test policy
4. ¿Cómo combate el Q-Learning conservador (CQL) la sobreestimación?
   • Inflando valores para acciones invisibles
   • Eliminando la recompensa por completo
   • Explorando más en el mundo real
   • Regularizando los valores Q hacia abajo para acciones fuera de distribución
5. ¿Cómo reformula Decision Transformer la RL fuera de línea?
   • Como modelado de secuencia que predice acciones condicionadas al retorno deseado.
   • Como agrupación de estados
   • Como búsqueda puramente aleatoria
   • Como clasificación de imágenes supervisada.
6. ¿Por qué los algoritmos RL en línea estándar no se pueden usar simplemente tal como están sin conexión?
   • No tienen red neuronal.
   • No pueden recopilar datos correctivos para corregir la sobreestimación del valor.
   • Nunca usan recompensas
   • No requieren política
7. How does BCQ reduce reliance on actions absent from an offline dataset?
   • It adds random actions to every training transition
   • It assumes every action has been observed equally often
   • It constrains candidate actions to stay near actions the dataset supports
   • It removes the action-value function and reward
8. What value-learning method is central to the cited Implicit Q-Learning paper?
   • Maximum-likelihood fitting of a language tokenizer
   • Uniform regression over actions sampled from a live environment
   • A supervised image-classification loss
   • Expectile regression over values associated with dataset actions