Prueba de métodos de actor-crítico

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. En un método Actor-Crítico, ¿cuál es el papel del 'crítico'?
   • Estimar el valor de los estados (o acciones) y evaluar las elecciones del actor.
   • Para seleccionar qué acción tomar
   • Para almacenar el búfer de reproducción
   • Para explorar aleatoriamente el entorno.
2. ¿Qué mide la 'ventaja' A(s,a) = Q(s,a) - V(s)?
   • La recompensa total del episodio.
   • ¿Cuánto mejor es una acción que el valor promedio del estado?
   • La tasa de aprendizaje
   • El número de acciones disponibles.
3. ¿Por qué agregar un crítico reduce la variación en comparación con métodos puros de gradiente de políticas como REINFORCE?
   • Elimina las recompensas de la ecuación.
   • Hace que la política sea determinista.
   • El crítico proporciona una base, por lo que las actualizaciones utilizan una señal de ventaja menos ruidosa.
   • Aumenta el factor de descuento.
4. ¿Qué capacidad tienen los métodos Actor-Critic que los métodos simples basados en valores como Q-Learning manejan de manera incómoda?
   • Acciones discretas
   • Usando recompensas
   • Descontando el futuro
   • Espacios de acción continua
5. ¿Cuál de los siguientes es un algoritmo basado en actor-crítico ampliamente utilizado para RLHF en modelos de lenguaje?
   • PPO (optimización de política próxima)
   • K-medias
   • Regresión lineal
   • Q-aprendizaje
6. ¿Qué señal suele utilizar el actor para actualizar su política?
   • La entrada de píxeles sin procesar
   • La ventaja o error de TD aportado por el crítico
   • El tamaño del búfer de reproducción
   • Un número aleatorio fijo
7. An action has a positive advantage estimate. How does a policy-gradient actor typically use that signal?
   • Decrease its probability in every state
   • Set the critic’s value estimate to zero
   • Increase the probability of choosing that action in the state
   • Replace the policy with a Q-table
8. An action’s estimated advantage is negative. What direction should the actor update favor?
   • Increase it because the critic was surprised
   • Delete the state from the environment
   • Raise the reward discount factor automatically
   • Reduce the likelihood of that action relative to the policy baseline