引導式測驗 · 硬 等級
強化學習測驗
將強化學習概念應用於探索、折扣回報、延遲獎勵、模擬限制和代理獎勵目標的失敗。
問題 1 的 8
倉庫機器人嘗試一條不熟悉的通道以學習是否能縮短送貨時間。這屬於探索–利用權衡的哪一側?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 倉庫機器人嘗試一條不熟悉的通道以學習是否能縮短送貨時間。這屬於探索–利用權衡的哪一側?
- 探索:測試價值不確定的行動
- 利用:選擇目前最高價值的行動
- 獎勵塑形:在行動後改變目標
- 模仿:複製標記的行動
- 獎勵在三步驟情節中分別為 2、0 和 5。折扣因子為 0.9,第一步的回報是多少?
- 7
- 6.05
- 6.5
- 4.05
- 設計師在折扣回報目標中提高了 γ。會發生什麼變化?
- 代理停止探索
- 獎勵函數變成機率分佈
- 未來的獎勵相較於即時獎勵更具分量
- 過去的獎勵會再次被計算
- 一項策略只有在長序列的行動之後才會收到獎勵。會產生哪種歸因問題?
- 哪一個輸入欄位的名稱最長?
- 是否每個行動都必須收到相同的獎勵
- 最終的獎勵是否會抹除所有先前的觀測
- 哪些較早的行動對最終結果有所貢獻
- 遊戲代理人透過收集一個無害的加分取得分數,之後因為加分容易重複而忽略任務。這說明了哪種失敗?
- 獎勵駭客:以錯誤的方式優化代理獎勵,導致未達成原本目標
- 災難性遺忘
- 探索崩潰由 gamma 引起
- 轉移模型錯誤
- 機器人策略在模擬中表現良好,為什麼仍需要針對實際部署進行評估?
- 模擬成功證明每個現實世界行動都是安全的
- 模擬器可能依賴在其外部失效的假設
- 模擬能防止所有獎勵漏洞
- 實際觀測永遠與模擬觀測相符
- 一個配送任務有延遲回報:現在走更長路徑可能會避免之後的高昂延遲。為什麼一步獎勵觀點會忽略這種權衡?
- 它假設每個行動都是隨機的
- 它無法表示觀測
- 它忽略了在後續狀態中到達的後果
- 它強迫獎勵為正值
- 一個團隊將獎勵從「安全交付」改為「快速交付」,並看到更快但更危險的行為。它應該得出什麼結論?
- 更快的政策證明原始安全目標已達成
- 折扣因子本身就能保證安全行為
- 一旦訓練收斂,人類偏好就不再必要
- 獎勵設計會影響行為,因此安全必須被明確表示與評估