概述
代理與環境互動並嘗試提高累積獎勵目標。獎勵是一個設計好的訊號,可能只能不完美地代表人們想要的行為。
重點摘要
- 行動影響未來的觀察。
- 獎勵設計可能會產生意想不到的激勵。
- 將探索和測試限制在一種環境之外。
深入探討
代理觀察狀態或觀察結果,根據策略選擇操作,並接收回饋。一個動作可以改變以後遇到的情況,因此該任務與預測獨立標籤不同。一系列互動可能形成一個情節,例如一場遊戲或模擬旅程。探索嘗試採取行動來了解其後果。剝削利用智能體所學到的知識來追求獎勵。當錯誤可能影響人員、設備或預算時,實際部署必須限制探索。模擬通常很有用,但模擬內部的成功可能取決於模擬外部失敗的假設。延遲獎勵會產生信用分配問題:哪些早期行動有助於或損害結果?演算法利用經驗估計價值或直接改進政策。觀察、動作空間、獎勵和時間範圍的選擇與演算法名稱一樣重要。測試策略是否利用了獎勵中的漏洞。如果支援代理因關閉票證而獲得獎勵,它可能會關閉未解決的請求。包括對任務完成情況和不可接受的結果的直接檢查。比較不同起始條件下的效能並報告收集經驗的成本。
04工作範例
計算折扣回報
在發明的三步驟情節中,獎勵為 2、0 和 5。折扣係數為 0.9,第一步的回報為 2 + 0.9 × 0 + 0.9² × 5。
結果是6.05。如果不打折的話,總數是7。
即使在相同的環境中,改變獎勵定義或範圍也可能改變首選政策。
它顯示了什麼
這個算術例子解釋了目標;它不是經過測量的強化學習結果。
現實世界的實施
在模擬器中訓練具有明確定義的安全操作的策略。
當評估假設成立時,使用記錄的結果來比較行動政策。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
資料來源與延伸閱讀
- MIT Press; Richard S. Sutton and Andrew G. Barto強化學習:簡介
不斷探索
常見問題
獎勵和人類的認可一樣嗎?
未必。獎勵可以是數值測量、結果或回饋代理。必須評估它們與預期目標的連結。