引導式測驗 · 中等 等級

模仿學習測驗

檢查行為克隆、分佈轉移、專家演示、DAgger 的資料聚合以及觀察狀態以外的限制。

相關引導路徑模仿學習
問題 1 的 8

在模仿学习中,智能体如何获得其行为?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 在模仿学习中,智能体如何获得其行为?
    • 透過模仿專家演示來學習政策
    • 透過隨機探索最大化手工設計的獎勵
    • 壓縮神經網路以在小型設備上運行
    • 根據文字提示產生圖像
  2. 行為複製將模仿學習視為哪一類問題?
    • 無監督聚類
    • 狀態到動作映射的監督學習
    • 對抗一代
    • 獎勵塑造
  3. 什麼問題導致行為克隆在長動作序列上失敗?
    • 獎勵函數過度擬合
    • 編碼器中梯度消失
    • 分佈偏移造成的複合誤差
    • 舊課程的災難性遺忘
  4. DAgger 演算法如何解決這個弱點?
    • 透過將專家完全從循環中移除
    • 透過增加折扣係數
    • 透過為所有動作添加隨機噪聲
    • 透過向專家詢問學習者實際存取的狀態並聚合該數據
  5. 為什麼對於駕駛等任務,模仿學習通常比強化學習更受青睞?
    • 演示比正確的獎勵函數更容易提供
    • 它保證了最佳行為
    • 它永遠不需要任何數據
    • 僅在推理時運行得更快
  6. What is a realistic limitation of behavioral cloning when the agent reaches states outside the demonstrations?
    • It is guaranteed to improve beyond the expert
    • Its behavior is not guaranteed there because those states may be out of distribution
    • It can only produce random actions
    • It automatically queries an expert at every step
  7. In one DAgger iteration, what does the learner do before requesting expert labels?
    • Deletes all earlier demonstrations
    • Trains only on randomly generated labels
    • Rolls out its current policy and records the states it actually visits
    • Replaces the expert policy permanently
  8. After the expert labels the states visited by the current policy, what happens to that data?
    • It is used only as an evaluation metric
    • It replaces the original observation space
    • It is discarded after one gradient step
    • It is aggregated with previous labeled data for retraining