概述
這很重要,因為回收的獎勵比直接複製的行為更能推廣到新情境。
深入探討
逆增強學習提出的問題是:專家必須追求什麼目標才能像他們一樣行事?根據演示,IRL 恢復了一個獎勵函數,在該函數下該行為看起來是最優的(或接近最優的),然後使用標準 RL 來導出策略。動機是泛化——學習到的獎勵捕捉了行為背後的原因,因此代理可以在演示從未涵蓋的狀態下明智地採取行動,這與僅模仿行為的行為克隆不同。這個問題從根本上來說是不適定的:許多獎勵函數解釋相同的行為,包括微不足道的行為。解決這種模糊性的關鍵方法包括最大利潤方法和最大熵 IRL,前者傾向於獎勵使專家明顯最好的獎勵,後者選擇與數據一致的最少承諾獎勵分佈。
現實世界的實施
自動駕駛汽車從人類駕駛員推斷駕駛偏好(平穩性、安全裕度)
機器人從人類演示中學習任務目標,以推廣到新的佈局
透過恢復觀察到的軌跡背後的目標來模擬行人或動物的運動
人工智慧對齊的獎勵推理,從演示的選擇中學習人類價值觀
逆向強化學習的未來
現實生活越來越支持獎勵學習的一致性:系統不是人類手動編碼獎勵,而是從行為和回饋中推斷人們看重什麼。期望與人類回饋和偏好學習的強化學習、擴展到語言模型和機器人設定建立更緊密的聯繫。研究正在推動從原始影片和部分觀察中恢復獎勵,以及可證明可識別的獎勵,以抵制困擾當今方法的獎勵駭客和模糊性問題。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是逆向強化學習?
逆向強化學習 (IRL) 顛覆了標準強化學習:它不是獲得獎勵並找到策略,而是觀察專家的行為並推斷出解釋該行為的隱藏獎勵函數。這很重要,因為恢復的獎勵比直接複製的動作更好地推廣到新的情況。
逆強化學習的目的是恢復什麼?
IRL 將演示作為輸入並推斷出潛在的獎勵函數,在該函數下專家的行為顯得最優。
為什麼 IRL 問題被描述為不適定或不明確的?
多個獎勵函數,包括一個微不足道的全零獎勵,可以使觀察到的行為達到最佳,因此獎勵並不是僅由演示唯一確定的。
與行為複製相比,恢復獎勵有什麼關鍵優勢?
獎勵函數編碼了專家這樣做的原因,讓派生策略在新狀態下表現得明智,而克隆僅複製資料中看到的動作。
最大熵 IRL 如何解決獎勵模糊性?
最大熵 IRL 假設更高獎勵軌蹟的可能性呈指數級增長,從而給出了一個獨特的目標,同時也容忍不完美、嘈雜的專家。
IRL 恢復獎勵函數後,接下來通常會做什麼?
IRL 產生獎勵,然後將其交給普通的 RL 演算法,以計算推斷目標下的最優策略。