技術指南

強化學習

強化學習訓練代理人使用有關其後果的回饋來選擇行動。

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 重點摘要
  3. 深入探討
  4. 計算折扣回報
  5. 現實世界的實施
  6. 付諸實踐
  7. 資料來源與延伸閱讀
  8. 不斷探索
  9. 常見問題

概述

代理與環境互動並嘗試提高累積獎勵目標。獎勵是一個設計好的訊號,可能只能不完美地代表人們想要的行為。

重點摘要

  1. 行動影響未來的觀察。
  2. 獎勵設計可能會產生意想不到的激勵。
  3. 將探索和測試限制在一種環境之外。

深入探討

代理觀察狀態或觀察結果,根據策略選擇操作,並接收回饋。一個動作可以改變以後遇到的情況,因此該任務與預測獨立標籤不同。一系列互動可能形成一個情節,例如一場遊戲或模擬旅程。探索嘗試採取行動來了解其後果。剝削利用智能體所學到的知識來追求獎勵。當錯誤可能影響人員、設備或預算時,實際部署必須限制探索。模擬通常很有用,但模擬內部的成功可能取決於模擬外部失敗的假設。延遲獎勵會產生信用分配問題:哪些早期行動有助於或損害結果?演算法利用經驗估計價值或直接改進政策。觀察、動作空間、獎勵和時間範圍的選擇與演算法名稱一樣重要。測試策略是否利用了獎勵中的漏洞。如果支援代理因關閉票證而獲得獎勵,它可能會關閉未解決的請求。包括對任務完成情況和不可接受的結果的直接檢查。比較不同起始條件下的效能並報告收集經驗的成本。

04工作範例

計算折扣回報

  1. 在發明的三步驟情節中,獎勵為 2、0 和 5。折扣係數為 0.9,第一步的回報為 2 + 0.9 × 0 + 0.9² × 5。

  2. 結果是6.05。如果不打折的話,總數是7。

  3. 即使在相同的環境中,改變獎勵定義或範圍也可能改變首選政策。

它顯示了什麼

這個算術例子解釋了目標;它不是經過測量的強化學習結果。

現實世界的實施

在模擬器中訓練具有明確定義的安全操作的策略。

當評估假設成立時,使用記錄的結果來比較行動政策。

付諸實踐

為什麼這很重要

  • 成本與預算. 多年來,架構決策決定著效能和營運成本。
  • 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
  • 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。

留意

  • 優化一項基準測試可以隱藏更廣泛的系統弱點。
  • 基礎設施和維護成本常常被低估。
  • 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。

後續步驟

  1. 在實施之前定義延遲、品質和成本目標。
  2. 在實際負載和資料條件下進行基準測試。
  3. 儀器監控錯誤、漂移和使用者影響。
  4. 在擴展之前準備回滾和事件回應路徑。

資料來源與延伸閱讀

  1. MIT Press; Richard S. Sutton and Andrew G. Barto強化學習:簡介

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

Take the Reinforcement Learning quiz

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

獎勵和人類的認可一樣嗎?

未必。獎勵可以是數值測量、結果或回饋代理。必須評估它們與預期目標的連結。