다중 에이전트 강화 학습 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. MARL의 한 에이전트의 관점에서 환경을 '비정상'으로 만드는 것은 무엇입니까?
   • 다른 에이전트가 동시에 자신의 정책을 학습하고 변경하고 있습니다.
   • 보상 기능은 각 에피소드마다 무작위로 재설정됩니다.
   • 상태 공간은 시간이 지남에 따라 무제한으로 증가합니다.
   • 센서는 시끄러운 관찰 결과를 반환합니다.
2. '분산 실행을 통한 중앙 집중식 훈련'(CTDE)은 무엇을 의미합니까?
   • 에이전트는 단일 중앙 서버에서 훈련되고 실행됩니다.
   • 공유된 비평가는 훈련 중에 글로벌 정보를 사용하지만 에이전트는 배포 시 로컬 관찰에 따라 행동합니다.
   • 하나의 마스터 에이전트가 런타임 시 다른 모든 에이전트에게 명령을 발행합니다.
   • 훈련 데이터는 중앙 집중화되어 있지만 보상은 분산되어 있습니다.
3. 단일 에이전트 MDP를 여러 에이전트로 일반화하는 수학적 프레임워크는 무엇입니까?
   • 선형 프로그램
   • 숨겨진 마르코프 모델
   • 마르코프 게임(확률적 게임)
   • 유한 상태 자동 장치
4. 순전히 협력적인 MARL 환경에서 보상은 일반적으로 어떻게 구성됩니까?
   • 각 에이전트는 다른 에이전트의 부정적인 보상을 최대화합니다.
   • 가장 빠른 에이전트만이 보상을 받습니다.
   • 보상은 각 단계마다 무작위로 할당됩니다.
   • 에이전트는 공동으로 최대화하는 공통 팀 보상을 공유합니다.
5. Which training approach did OpenAI Five use to improve at Dota 2?
   • Self-play against copies of its own current and past policies
   • A fixed lookup table of human moves
   • A supervised-only classifier trained on image labels
   • A single policy trained only against a static scripted opponent
6. 협동조합 MARL에서 '학점 할당'이 특히 어려운 이유는 무엇입니까?
   • 보상은 즉시 도착하며 추적이 쉽습니다.
   • 어떤 상담원의 행동이 팀 결과 공유에 기여했는지 판단하기 어렵습니다.
   • 보상을 받는 에이전트는 단 하나뿐입니다.
   • 에이전트는 보상을 전혀 관찰할 수 없습니다.
7. What structural constraint does QMIX place on its mixing network?
   • It must be a linear sum with fixed weights
   • It ignores all individual agent values
   • The joint action-value is monotonic in each agent’s individual value
   • It requires communication at every action step
8. How does Value Decomposition Networks (VDN) form the team action-value?
   • By multiplying all rewards by the number of agents
   • By selecting the largest local reward only
   • By training a separate team for each agent
   • By summing the individual agents’ action-values