Prueba de aprendizaje por refuerzo inverso

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Qué pretende recuperar el aprendizaje por refuerzo inverso?
   • Una función de recompensa que explica el comportamiento observado de los expertos.
   • Un optimizador más rápido para el descenso de gradientes
   • Una versión comprimida de las manifestaciones.
   • Un conjunto de datos de imágenes etiquetadas
2. ¿Por qué se describe el problema de la vida real como mal planteado o ambiguo?
   • Porque las demostraciones son siempre perfectamente óptimas
   • Porque muchas funciones de recompensa diferentes pueden explicar el mismo comportamiento.
   • Porque las recompensas siempre deben ser negativas
   • Porque no requiere datos de expertos
3. ¿Qué ventaja clave tiene la recuperación de una recompensa sobre la clonación conductual?
   • No necesita demostraciones
   • Siempre corre en tiempo constante.
   • Capta el objetivo subyacente, generalizándolo a estados invisibles.
   • Evita utilizar cualquier póliza.
4. ¿Cómo resuelve IRL la máxima entropía la ambigüedad de la recompensa?
   • Obligando a que todas las recompensas sean iguales
   • Ignorando por completo las trayectorias subóptimas
   • Eliminando la función de recompensa
   • Modelando la probabilidad de la trayectoria como exponencial en la recompensa total
5. Después de que IRL recupera una función de recompensa, ¿qué se hace normalmente a continuación?
   • El aprendizaje por refuerzo estándar deriva una política de esa recompensa.
   • La recompensa se descarta.
   • Se eliminan las manifestaciones para ahorrar espacio
   • El agente deja de aprender.
6. ¿En qué escenario es especialmente útil IRL?
   • Cuando la recompensa ya se conoce perfectamente
   • Cuando desee comprender y generalizar los objetivos detrás del comportamiento experto
   • Cuando no existen datos de comportamiento
   • Cuando solo necesitas memorizar acciones fijas
7. Why can a constant zero reward explain many different expert policies?
   • It assigns the highest reward only to expert actions
   • It proves the expert is optimal
   • Every policy receives the same return, so none is preferred by the reward
   • It makes the transition model deterministic
8. In maximum-entropy IRL, how are higher-reward trajectories treated relative to lower-reward ones?
   • They are assigned probability zero
   • They are treated as equally likely regardless of reward
   • They are removed before policy learning
   • They receive higher probability, with probability depending exponentially on total reward