引导式测验 · 中等 等级
多智能体强化学习测验
研究几个强化学习代理如何在共享奖励、不断变化的对手、偏颇观点和协调约束下学习。
问题 1 的 8
从 MARL 中一个智能体的角度来看，是什么使得环境“不稳定”？
预览每个问题8 问题
当您参加测验时，就会出现答案和解释。
- 从 MARL 中一个智能体的角度来看，是什么使得环境“不稳定”？
- 其他代理正在同时学习和改变自己的策略
- 奖励函数每集随机重置
- 状态空间随时间无限增长
- 传感器返回嘈杂的观察结果
- “集中培训分散执行”（CTDE）是什么意思？
- 代理在单个中央服务器上进行训练和运行
- 共同的批评者在训练期间使用全局信息，但代理在部署时根据本地观察采取行动
- 一个主代理在运行时向所有其他代理发出命令
- 训练数据集中，奖励分散
- 哪种数学框架将单智能体 MDP 推广到多智能体？
- 线性规划
- 隐马尔可夫模型
- 马尔可夫博弈（随机博弈）
- 有限状态自动机
- 在纯粹合作的 MARL 环境中，奖励通常是如何构成的？
- 每个智能体都会最大化与另一个智能体相反的奖励
- 只有最快的代理才能获得奖励
- 每一步的奖励都是随机分配的
- 代理共享共同的团队奖励，他们共同最大化
- Which training approach did OpenAI Five use to improve at Dota 2?
- Self-play against copies of its own current and past policies
- A fixed lookup table of human moves
- A supervised-only classifier trained on image labels
- A single policy trained only against a static scripted opponent
- 为什么“学分分配”在合作 MARL 中特别困难？
- 奖励即时到账且易于追踪
- 很难确定哪个代理的行为对共享团队结果做出了贡献
- 只有一名代理人获得奖励
- 特工根本无法观察到任何奖励
- What structural constraint does QMIX place on its mixing network?
- It must be a linear sum with fixed weights
- It ignores all individual agent values
- The joint action-value is monotonic in each agent’s individual value
- It requires communication at every action step
- How does Value Decomposition Networks (VDN) form the team action-value?
- By multiplying all rewards by the number of agents
- By selecting the largest local reward only
- By training a separate team for each agent
- By summing the individual agents’ action-values