引導式測驗 · 硬 等級

強化學習測驗

將強化學習概念應用於探索、折扣回報、延遲獎勵、模擬限制和代理獎勵目標的失敗。

相關引導路徑強化學習
問題 1 的 8

倉庫機器人嘗試一條不熟悉的通道以學習是否能縮短送貨時間。這屬於探索–利用權衡的哪一側?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 倉庫機器人嘗試一條不熟悉的通道以學習是否能縮短送貨時間。這屬於探索–利用權衡的哪一側?
    • 探索:測試價值不確定的行動
    • 利用:選擇目前最高價值的行動
    • 獎勵塑形:在行動後改變目標
    • 模仿:複製標記的行動
  2. 獎勵在三步驟情節中分別為 2、0 和 5。折扣因子為 0.9,第一步的回報是多少?
    • 7
    • 6.05
    • 6.5
    • 4.05
  3. 設計師在折扣回報目標中提高了 γ。會發生什麼變化?
    • 代理停止探索
    • 獎勵函數變成機率分佈
    • 未來的獎勵相較於即時獎勵更具分量
    • 過去的獎勵會再次被計算
  4. 一項策略只有在長序列的行動之後才會收到獎勵。會產生哪種歸因問題?
    • 哪一個輸入欄位的名稱最長?
    • 是否每個行動都必須收到相同的獎勵
    • 最終的獎勵是否會抹除所有先前的觀測
    • 哪些較早的行動對最終結果有所貢獻
  5. 遊戲代理人透過收集一個無害的加分取得分數,之後因為加分容易重複而忽略任務。這說明了哪種失敗?
    • 獎勵駭客:以錯誤的方式優化代理獎勵,導致未達成原本目標
    • 災難性遺忘
    • 探索崩潰由 gamma 引起
    • 轉移模型錯誤
  6. 機器人策略在模擬中表現良好,為什麼仍需要針對實際部署進行評估?
    • 模擬成功證明每個現實世界行動都是安全的
    • 模擬器可能依賴在其外部失效的假設
    • 模擬能防止所有獎勵漏洞
    • 實際觀測永遠與模擬觀測相符
  7. 一個配送任務有延遲回報:現在走更長路徑可能會避免之後的高昂延遲。為什麼一步獎勵觀點會忽略這種權衡?
    • 它假設每個行動都是隨機的
    • 它無法表示觀測
    • 它忽略了在後續狀態中到達的後果
    • 它強迫獎勵為正值
  8. 一個團隊將獎勵從「安全交付」改為「快速交付」,並看到更快但更危險的行為。它應該得出什麼結論?
    • 更快的政策證明原始安全目標已達成
    • 折扣因子本身就能保證安全行為
    • 一旦訓練收斂,人類偏好就不再必要
    • 獎勵設計會影響行為,因此安全必須被明確表示與評估