引導式測驗 · 硬 等級

逆強化學習測驗

檢查 IRL 的獎勵恢復目標、模糊性、最大熵軌跡機率以及隨後如何導出策略。

相關引導路徑逆強化學習
問題 1 的 8

逆強化學習的目的是恢復什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 逆強化學習的目的是恢復什麼?
    • 解釋觀察到的專家行為的獎勵函數
    • 更快的梯度下降優化器
    • 演示的壓縮版本
    • 帶有標籤的圖像資料集
  2. 為什麼 IRL 問題被描述為不適定或不明確的?
    • 因為演示總是完美的最佳結果
    • 因為許多不同的獎勵函數可以解釋相同的行為
    • 因為獎勵一定總是負數
    • 因為它不需要專家數據
  3. 與行為複製相比,恢復獎勵有什麼關鍵優勢?
    • 不需要演示
    • 它總是以恆定的時間運行
    • 它抓住了根本目標,並推廣到未見過的狀態
    • 它避免使用任何策略
  4. 最大熵 IRL 如何解決獎勵模糊性?
    • 強制所有獎勵均等
    • 完全忽略次優軌跡
    • 透過刪除獎勵函數
    • 透過將軌跡機率建模為總獎勵的指數
  5. IRL 恢復獎勵函數後,接下來通常會做什麼?
    • 標準強化學習從獎勵中得出策略
    • 獎勵被丟棄
    • 為了節省空間,刪除了演示
    • 代理停止學習
  6. IRL 在什麼場景下特別有用?
    • 當獎勵已經完全已知時
    • 當您想要理解並概括專家行為背後的目標時
    • 當不存在行為數據時
    • 當你只需要記住固定動作時
  7. Why can a constant zero reward explain many different expert policies?
    • It assigns the highest reward only to expert actions
    • It proves the expert is optimal
    • Every policy receives the same return, so none is preferred by the reward
    • It makes the transition model deterministic
  8. In maximum-entropy IRL, how are higher-reward trajectories treated relative to lower-reward ones?
    • They are assigned probability zero
    • They are treated as equally likely regardless of reward
    • They are removed before policy learning
    • They receive higher probability, with probability depending exponentially on total reward