引導式測驗 · 中等 等級
多智能體強化學習測驗
研究幾個強化學習代理如何在共享獎勵、不斷變化的對手、偏見觀點和協調限制下學習。
問題 1 的 8
從 MARL 中一個智能體的角度來看,是什麼使得環境「不穩定」?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 從 MARL 中一個智能體的角度來看,是什麼使得環境「不穩定」?
- 其他代理商正在同時學習和改變自己的策略
- 獎勵函數每集隨機重置
- 狀態空間隨時間無限增長
- 感測器返回嘈雜的觀察結果
- 「集中培訓分散執行」(CTDE)是什麼意思?
- 代理在單一中央伺服器上進行訓練和運行
- 共同的批評者在訓練期間使用全局信息,但代理在部署時根據本地觀察採取行動
- 一個主代理在運行時向所有其他代理髮出命令
- 訓練資料集中,獎勵分散
- 哪一種數學框架將單智能體 MDP 推廣到多智能體?
- 線性規劃
- 隱馬可夫模型
- 馬可夫博弈(隨機賽局)
- 有限狀態自動機
- 在純粹合作的 MARL 環境中,獎勵通常是如何構成的?
- 每個智能體都會最大化與另一個智能體相反的獎勵
- 只有最快的代理商才能獲得獎勵
- 每一步的獎勵都是隨機分配的
- 代理商共享共同的團隊獎勵,他們共同最大化
- Which training approach did OpenAI Five use to improve at Dota 2?
- Self-play against copies of its own current and past policies
- A fixed lookup table of human moves
- A supervised-only classifier trained on image labels
- A single policy trained only against a static scripted opponent
- 為什麼「學分分配」在合作 MARL 中特別困難?
- 獎勵即時到帳且易於追踪
- 很難確定哪個代理人的行為對共享團隊結果做出了貢獻
- 只有一名代理人獲得獎勵
- 特工根本無法觀察到任何獎勵
- What structural constraint does QMIX place on its mixing network?
- It must be a linear sum with fixed weights
- It ignores all individual agent values
- The joint action-value is monotonic in each agent’s individual value
- It requires communication at every action step
- How does Value Decomposition Networks (VDN) form the team action-value?
- By multiplying all rewards by the number of agents
- By selecting the largest local reward only
- By training a separate team for each agent
- By summing the individual agents’ action-values