語言人工智慧指南

近端策略優化

近端策略最佳化(Proximal Policy Optimization)是一種政策梯度方法,透過剪裁的代理目標限制政策更新。

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. 近端策略優化的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

在語言模型RLHF中,獎勵項與KL項是更大訓練設定的一部分。

深入探討

PPO使用新舊政策之間的機率比率,並在代理目標中將其剪裁至指定範圍。於RLHF實作中,可能會加入獎勵模型、KL懲罰與價值函數。價值估計用於優勢計算;它本身並非獎勵。實作方式各異,細節應針對特定方法或系統說明。PPO的剪裁限制了代理目標對超出剪裁區間的比率的激勵,並不保證參數更新有界。在標準的在策略PPO中,最近的軌跡來自被優化的政策。DeepSeekMath推出的GRPO,估計取樣輸出群組之間的相對優勢,無需額外的價值評論員;此為方法描述,並非零漂移的保證。

現實世界的實施

從目前的政策中收集一批提示的回應。

使用學習到的獎勵模型或任務訊號為回應打分。

在更新過程中追蹤相對於參考政策的KL散度。

比較固定評估與展開預算的 PPO 執行

近端策略優化的未來

PPO 仍是一種通用的強化學習方法,其實現上存在權衡。請根據實際訓練設定,評估運算資源、推演品質以及策略行為。

付諸實踐

為什麼這很重要

  • 速度與規模. 語言工作流程可以在不犧牲一致性的情況下更快地移動。
  • 交通與覆蓋範圍. 它擴展了跨語言和溝通方式的訪問。
  • 更明確的決策. 團隊可以花更多時間進行判斷,而自動化則可以處理重複。

留意

  • 幻覺的事實可以悄悄地進入報告、支持流程或研究成果。
  • 及時的敏感性可能會在類似的請求中產生不一致的結果。
  • 如果存取控制薄弱,敏感文字資料可能會暴露。

後續步驟

  1. 在推出之前定義輸出格式、語氣和品質標準。
  2. 當準確性很重要時,請使用可信任來源進行地面回應。
  3. 為高風險輸出保留人工審查檢查點。
  4. 追蹤故障模式並定期重新訓練提示或工作流程。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加近端策略最佳化(PPO)測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是近端策略優化?

近端策略最佳化(PPO)是一種策略梯度方法,透過截斷的代理目標來限制策略更新。在語言模型的 RLHF 中,獎勵項和 KL 散度項是更大規模訓練設定的一部分。

PPO 的「裁切」主要解決什麼問題?

當策略比率超出截斷區間時,PPO 的截斷機制會限制其代理目標中的策略比率激勵。這會抑制該目標中的大幅策略變化,但並未在數學上保證參數更新是有界的。

在具有 PPO 的語言模型 RLHF 中,獎勵訊號通常來自哪裡?

獎勵模型為產生的反應提供標量獎勵,因為讓人類在強化學習期間對每個輸出進行評分是不可行的。

KL 散度懲罰在基於 PPO 的 RLHF 中起什麼作用?

針對原始(參考)策略的每個代幣 KL 懲罰會阻止模型在追逐獎勵時過於劇烈地改變其行為。

價值(批評)網絡在 PPO 中的作用是什麼?

PPO是一種演員批評家方法;價值網絡估計預期獎勵,從而實現優勢估計(通常透過 GAE),從而減少變異數。

PPO 的「優勢」代表什麼?

優勢衡量所選行動相對於價值估計的良好(或較差)程度,告訴政策要加強哪些行動。