概述
在語言模型RLHF中,獎勵項與KL項是更大訓練設定的一部分。
深入探討
PPO使用新舊政策之間的機率比率,並在代理目標中將其剪裁至指定範圍。於RLHF實作中,可能會加入獎勵模型、KL懲罰與價值函數。價值估計用於優勢計算;它本身並非獎勵。實作方式各異,細節應針對特定方法或系統說明。PPO的剪裁限制了代理目標對超出剪裁區間的比率的激勵,並不保證參數更新有界。在標準的在策略PPO中,最近的軌跡來自被優化的政策。DeepSeekMath推出的GRPO,估計取樣輸出群組之間的相對優勢,無需額外的價值評論員;此為方法描述,並非零漂移的保證。
現實世界的實施
從目前的政策中收集一批提示的回應。
使用學習到的獎勵模型或任務訊號為回應打分。
在更新過程中追蹤相對於參考政策的KL散度。
比較固定評估與展開預算的 PPO 執行
近端策略優化的未來
PPO 仍是一種通用的強化學習方法,其實現上存在權衡。請根據實際訓練設定,評估運算資源、推演品質以及策略行為。
付諸實踐
為什麼這很重要
- 速度與規模. 語言工作流程可以在不犧牲一致性的情況下更快地移動。
- 交通與覆蓋範圍. 它擴展了跨語言和溝通方式的訪問。
- 更明確的決策. 團隊可以花更多時間進行判斷,而自動化則可以處理重複。
留意
- 幻覺的事實可以悄悄地進入報告、支持流程或研究成果。
- 及時的敏感性可能會在類似的請求中產生不一致的結果。
- 如果存取控制薄弱,敏感文字資料可能會暴露。
後續步驟
- 在推出之前定義輸出格式、語氣和品質標準。
- 當準確性很重要時,請使用可信任來源進行地面回應。
- 為高風險輸出保留人工審查檢查點。
- 追蹤故障模式並定期重新訓練提示或工作流程。
不斷探索
常見問題
什麼是近端策略優化?
近端策略最佳化(PPO)是一種策略梯度方法,透過截斷的代理目標來限制策略更新。在語言模型的 RLHF 中,獎勵項和 KL 散度項是更大規模訓練設定的一部分。
PPO 的「裁切」主要解決什麼問題?
當策略比率超出截斷區間時,PPO 的截斷機制會限制其代理目標中的策略比率激勵。這會抑制該目標中的大幅策略變化,但並未在數學上保證參數更新是有界的。
在具有 PPO 的語言模型 RLHF 中,獎勵訊號通常來自哪裡?
獎勵模型為產生的反應提供標量獎勵,因為讓人類在強化學習期間對每個輸出進行評分是不可行的。
KL 散度懲罰在基於 PPO 的 RLHF 中起什麼作用?
針對原始(參考)策略的每個代幣 KL 懲罰會阻止模型在追逐獎勵時過於劇烈地改變其行為。
價值(批評)網絡在 PPO 中的作用是什麼?
PPO是一種演員批評家方法;價值網絡估計預期獎勵,從而實現優勢估計(通常透過 GAE),從而減少變異數。
PPO 的「優勢」代表什麼?
優勢衡量所選行動相對於價值估計的良好(或較差)程度,告訴政策要加強哪些行動。