マルチエージェント強化学習クイズ

クイズに答えると、答えと解説が表示されます。

1. MARL における 1 つのエージェントの観点からすると、何が環境を「非定常」にしているのでしょうか?
   • 他のエージェントは同時に自身のポリシーを学習し、変更しています
   • 報酬関数はエピソードごとにランダムにリセットされます
   • 状態空間は時間の経過とともに際限なく拡大します
   • センサーがノイズの多い観測結果を返す
2. 「分散実行による集中トレーニング」(CTDE) とは何を意味しますか?
   • エージェントはトレーニングを受け、単一の中央サーバー上で実行されます
   • 共通の批評家はトレーニング中にグローバルな情報を使用しますが、エージェントは展開時にローカルな観察に基づいて行動します
   • 1 つのマスター エージェントが実行時に他のすべてのマスター エージェントにコマンドを発行します
   • トレーニングデータは一元化されていますが、報酬は分散化されています
3. 単一エージェントの MDP を複数のエージェントに一般化する数学的枠組みはどれですか?
   • 線形プログラム
   • 隠れマルコフモデル
   • マルコフ ゲーム (確率ゲーム)
   • 有限状態オートマトン
4. 純粋に協力的な MARL 設定では、通常、報酬はどのように構成されますか?
   • 各エージェントは、他のエージェントのマイナスとなる報酬を最大化します。
   • 最速のエージェントのみが報酬を受け取ります
   • 報酬はステップごとにランダムに割り当てられます
   • エージェントは共通のチーム報酬を共有し、共同で最大化します
5. Which training approach did OpenAI Five use to improve at Dota 2?
   • Self-play against copies of its own current and past policies
   • A fixed lookup table of human moves
   • A supervised-only classifier trained on image labels
   • A single policy trained only against a static scripted opponent
6. 協同組合 MARL では「単位の割り当て」が特に難しいのはなぜですか?
   • 報酬はすぐに届き、追跡も簡単です
   • どのエージェントの行動がチームの共有結果に貢献したかを判断するのは困難です
   • 報酬を受け取るエージェントは 1 人だけです
   • エージェントは報酬をまったく観察できません
7. What structural constraint does QMIX place on its mixing network?
   • It must be a linear sum with fixed weights
   • It ignores all individual agent values
   • The joint action-value is monotonic in each agent’s individual value
   • It requires communication at every action step
8. How does Value Decomposition Networks (VDN) form the team action-value?
   • By multiplying all rewards by the number of agents
   • By selecting the largest local reward only
   • By training a separate team for each agent
   • By summing the individual agents’ action-values