概述
It became famous as the core training trick behind DeepSeek's reasoning models.
深入探討
GRPO is a variant of policy-gradient reinforcement learning designed to make RL fine-tuning of large language models cheaper and more stable. Many PPO implementations train a value model to estimate returns; its size and cost depend on the implementation. GRPO removes that critic entirely. For each prompt it samples a group of completions (say 8-64), scores them all with a reward signal, and then computes each completion's advantage by standardizing its reward against the group's mean and standard deviation. Above-average answers are reinforced and below-average ones suppressed. A KL-divergence term keeps the model close to a reference policy. Introduced by DeepSeek, it powered DeepSeekMath and the DeepSeek-R1 reasoning models.
現實世界的實施
訓練 DeepSeek-R1 和 DeepSeekMath 使用基於規則的正確性獎勵對數學問題進行長鏈思維推理
微調代碼生成模型,其中每個採樣解決方案根據是否通過單元測試進行評分,並且該組被標準化以挑選獲勝者
開源 RLHF 管道(例如,在 TRL 和 verl 庫中)使用 GRPO 來調整聊天模型,而無需支付單獨的價值網絡費用
透過對每個提示的多個回應進行取樣並獎勵相對於同儕而言獎勵模型評分最高的回應,改善指令遵循或安全行為
集團相關政策優化的未來
GRPO 已迅速成為訓練開放推理模型的預設方法,實驗室正在迭代其弱點。研究人員正在探索修復長度和難度偏差(例如 GRPO 博士)、令牌級別而非序列級別標準化,以及刪除或重塑 KL 術語。期望與可驗證的獎勵(數學、代碼、工具使用)更緊密地集成,更好地處理稀疏信號,以及將群體基線與輕量級批評家相結合的混合體,以實現代理、多步驟任務。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
What is Group Relative Policy Optimization?
群體相對策略最佳化 (GRPO) 是一種用於微調語言模型的強化學習方法,該方法根據同一提示的一組兄弟答案來判斷每個答案,從而消除了 PPO 使用的單獨價值網絡。它以 DeepSeek 推理模型背後的核心訓練技巧而聞名。
Which separately learned estimator does the original GRPO approach avoid training?
GRPO uses a group-relative baseline rather than a separately learned value estimator. The size and resource savings depend on the PPO implementation used for comparison.
GRPO 如何計算給定完成的優勢?
每次完成的優勢是(獎勵 - 組平均值)/組標準差,因此同一提示的答案組作為基線。
哪些車款讓 GRPO 廣為人知?
GRPO 由 DeepSeek 引入並普及,特別是在 DeepSeekMath 中以及作為 DeepSeek-R1 推理模型背後的 RL 引擎。
KL 散度項在 GRPO 中扮演什麼角色?
針對參考(通常是強化學習前)模型的 KL 懲罰可以規範訓練,使策略得到改進,而不會崩潰或陷入退化輸出。
為什麼 GRPO 對於訓練數學或程式碼推理模型特別有吸引力?
對許多解決方案進行採樣並透過自動正確性檢查對其進行評分,與 GRPO 的群體歸一化優勢完美結合,無需批評家。