Questionário de aprendizagem por reforço multiagente

As respostas e explicações aparecem conforme você responde ao teste.

1. O que torna o ambiente “não estacionário” da perspectiva de um agente no MARL?
   • Outros agentes estão simultaneamente aprendendo e mudando as suas próprias políticas
   • A função de recompensa é redefinida aleatoriamente a cada episódio
   • O espaço de estado cresce sem limites ao longo do tempo
   • Sensores retornam observações ruidosas
2. O que significa “formação centralizada com execução descentralizada” (CTDE)?
   • Os agentes são treinados e executados em um único servidor central
   • Uma crítica compartilhada usa informações globais durante o treinamento, mas os agentes agem com base em observações locais na implantação
   • Um agente mestre emite comandos para todos os outros em tempo de execução
   • Os dados de treinamento são centralizados, mas as recompensas são descentralizadas
3. Qual estrutura matemática generaliza o MDP de agente único para vários agentes?
   • Um programa linear
   • Um modelo oculto de Markov
   • Um jogo de Markov (jogo estocástico)
   • Um autômato de estado finito
4. Em um ambiente MARL puramente cooperativo, como a recompensa normalmente é estruturada?
   • Cada agente maximiza uma recompensa que é negativa da recompensa do outro.
   • Somente o agente mais rápido recebe qualquer recompensa
   • As recompensas são atribuídas aleatoriamente em cada etapa
   • Os agentes compartilham uma recompensa de equipe comum que maximizam em conjunto
5. Which training approach did OpenAI Five use to improve at Dota 2?
   • Self-play against copies of its own current and past policies
   • A fixed lookup table of human moves
   • A supervised-only classifier trained on image labels
   • A single policy trained only against a static scripted opponent
6. Por que a “atribuição de crédito” é especialmente difícil no MARL cooperativo?
   • As recompensas chegam instantaneamente e são fáceis de rastrear
   • É difícil determinar quais ações do agente contribuíram para um resultado compartilhado da equipe
   • Existe apenas um agente recebendo recompensa
   • Os agentes não podem observar nenhuma recompensa
7. What structural constraint does QMIX place on its mixing network?
   • It must be a linear sum with fixed weights
   • It ignores all individual agent values
   • The joint action-value is monotonic in each agent’s individual value
   • It requires communication at every action step
8. How does Value Decomposition Networks (VDN) form the team action-value?
   • By multiplying all rewards by the number of agents
   • By selecting the largest local reward only
   • By training a separate team for each agent
   • By summing the individual agents’ action-values