引導式測驗 · 中等 等級

多智能體強化學習測驗

研究幾個強化學習代理如何在共享獎勵、不斷變化的對手、偏見觀點和協調限制下學習。

相關引導路徑多智能體強化學習
問題 1 的 8

從 MARL 中一個智能體的角度來看,是什麼使得環境「不穩定」?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 從 MARL 中一個智能體的角度來看,是什麼使得環境「不穩定」?
    • 其他代理商正在同時學習和改變自己的策略
    • 獎勵函數每集隨機重置
    • 狀態空間隨時間無限增長
    • 感測器返回嘈雜的觀察結果
  2. 「集中培訓分散執行」(CTDE)是什麼意思?
    • 代理在單一中央伺服器上進行訓練和運行
    • 共同的批評者在訓練期間使用全局信息,但代理在部署時根據本地觀察採取行動
    • 一個主代理在運行時向所有其他代理髮出命令
    • 訓練資料集中,獎勵分散
  3. 哪一種數學框架將單智能體 MDP 推廣到多智能體?
    • 線性規劃
    • 隱馬可夫模型
    • 馬可夫博弈(隨機賽局)
    • 有限狀態自動機
  4. 在純粹合作的 MARL 環境中,獎勵通常是如何構成的?
    • 每個智能體都會最大化與另一個智能體相反的獎勵
    • 只有最快的代理商才能獲得獎勵
    • 每一步的獎勵都是隨機分配的
    • 代理商共享共同的團隊獎勵,他們共同最大化
  5. Which training approach did OpenAI Five use to improve at Dota 2?
    • Self-play against copies of its own current and past policies
    • A fixed lookup table of human moves
    • A supervised-only classifier trained on image labels
    • A single policy trained only against a static scripted opponent
  6. 為什麼「學分分配」在合作 MARL 中特別困難?
    • 獎勵即時到帳且易於追踪
    • 很難確定哪個代理人的行為對共享團隊結果做出了貢獻
    • 只有一名代理人獲得獎勵
    • 特工根本無法觀察到任何獎勵
  7. What structural constraint does QMIX place on its mixing network?
    • It must be a linear sum with fixed weights
    • It ignores all individual agent values
    • The joint action-value is monotonic in each agent’s individual value
    • It requires communication at every action step
  8. How does Value Decomposition Networks (VDN) form the team action-value?
    • By multiplying all rewards by the number of agents
    • By selecting the largest local reward only
    • By training a separate team for each agent
    • By summing the individual agents’ action-values