Prueba de aprendizaje por refuerzo de múltiples agentes

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Qué hace que el entorno sea "no estacionario" desde la perspectiva de un agente en MARL?
   • Otros agentes están aprendiendo y cambiando simultáneamente sus propias políticas.
   • La función de recompensa se reinicia aleatoriamente en cada episodio.
   • El espacio de estados crece sin límites en el tiempo.
   • Los sensores devuelven observaciones ruidosas
2. ¿Qué significa 'formación centralizada con ejecución descentralizada' (CTDE)?
   • Los agentes están capacitados y se ejecutan en un único servidor central.
   • Un crítico compartido utiliza información global durante el entrenamiento, pero los agentes actúan según las observaciones locales durante el despliegue.
   • Un agente maestro emite comandos a todos los demás en tiempo de ejecución
   • Los datos de entrenamiento están centralizados pero las recompensas están descentralizadas
3. ¿Qué marco matemático generaliza el MDP de agente único a múltiples agentes?
   • Un programa lineal
   • Un modelo de Markov oculto
   • Un juego de Markov (juego estocástico)
   • Un autómata de estados finitos
4. En un entorno MARL puramente cooperativo, ¿cómo se estructura normalmente la recompensa?
   • Cada agente maximiza una recompensa que es negativa de la de otro.
   • Sólo el agente más rápido recibe recompensa
   • Las recompensas se asignan aleatoriamente en cada paso.
   • Los agentes comparten una recompensa de equipo común que maximizan conjuntamente
5. Which training approach did OpenAI Five use to improve at Dota 2?
   • Self-play against copies of its own current and past policies
   • A fixed lookup table of human moves
   • A supervised-only classifier trained on image labels
   • A single policy trained only against a static scripted opponent
6. ¿Por qué la "asignación de créditos" es especialmente difícil en el MARL cooperativo?
   • Las recompensas llegan instantáneamente y son fáciles de rastrear
   • Es difícil determinar qué acciones del agente contribuyeron a un resultado compartido del equipo.
   • Solo hay un agente que recibe recompensa.
   • Los agentes no pueden observar ninguna recompensa en absoluto.
7. What structural constraint does QMIX place on its mixing network?
   • It must be a linear sum with fixed weights
   • It ignores all individual agent values
   • The joint action-value is monotonic in each agent’s individual value
   • It requires communication at every action step
8. How does Value Decomposition Networks (VDN) form the team action-value?
   • By multiplying all rewards by the number of agents
   • By selecting the largest local reward only
   • By training a separate team for each agent
   • By summing the individual agents’ action-values