Cuestionario vinculado a una guía · Medio Nivel

Prueba de Q-Learning

Comprueba los valores Q, el aprendizaje fuera de políticas, las actualizaciones de Bellman, la exploración, los supuestos de convergencia y por qué Q-learning no tiene modelos.

Rutas de guía relacionadasAprendizaje Q
Pregunta 1 de 8

¿Qué representa el valor Q Q(s, a)?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Qué representa el valor Q Q(s, a)?
    • La recompensa esperada a largo plazo de tomar una acción a en el estado s y luego actuar de manera óptima
    • La probabilidad de estar en el estado s.
    • El número de veces que se ha intentado la acción a.
    • La recompensa inmediata sólo por la acción
  2. ¿Por qué se describe a Q-Learning como "fuera de las políticas"?
    • Requiere un modelo del entorno.
    • Puede aprender la política óptima mientras sigue una política exploratoria diferente.
    • Solo funciona sin conexión con datos almacenados.
    • Ignora las recompensas por completo.
  3. En la regla de actualización, ¿qué controla el factor de descuento gamma?
    • La tasa de exploración
    • El tamaño de la tabla de estados.
    • ¿Cuánto se ponderan las recompensas futuras en relación con las inmediatas?
    • El número de episodios
  4. ¿Qué es el error de diferencia temporal (TD) en Q-Learning?
    • La diferencia entre dos estados.
    • La recompensa total de un episodio.
    • La tasa de aprendizaje multiplicada por gamma.
    • r + gamma*max Q(s',a') menos la estimación actual de Q(s,a)
  5. ¿Por qué el Q-Learning tabular tiene dificultades con grandes problemas como los videojuegos a partir de píxeles?
    • El número de estados distintos es demasiado grande para almacenarlos en una tabla.
    • No puede utilizar recompensas.
    • Sólo funciona con dos acciones.
    • Gamma debe ser igual a 1
  6. ¿Cuál es el propósito de la selección de acciones codiciosas de épsilon?
    • Elegir siempre la acción con el valor Q más alto
    • Equilibrar la exploración de nuevas acciones con la explotación de las buenas conocidas.
    • Para establecer el factor de descuento
    • Para almacenar la tabla Q
  7. What exploration condition appears in the tabular Q-learning convergence result?
    • Only the greedy action is ever sampled
    • Each state must be visited exactly once
    • Every state-action pair must be visited repeatedly under suitable learning conditions
    • The transition model must be known in advance
  8. Why is Q-learning called model-free?
    • It never observes the environment
    • It does not use rewards
    • It requires a complete transition table before learning
    • It updates values from sampled rewards and next states without storing transition probabilities