概述
It became famous as the core training trick behind DeepSeek's reasoning models.
深入探讨
GRPO is a variant of policy-gradient reinforcement learning designed to make RL fine-tuning of large language models cheaper and more stable. Many PPO implementations train a value model to estimate returns; its size and cost depend on the implementation. GRPO removes that critic entirely. For each prompt it samples a group of completions (say 8-64), scores them all with a reward signal, and then computes each completion's advantage by standardizing its reward against the group's mean and standard deviation. Above-average answers are reinforced and below-average ones suppressed. A KL-divergence term keeps the model close to a reference policy. Introduced by DeepSeek, it powered DeepSeekMath and the DeepSeek-R1 reasoning models.
现实世界的实施
训练 DeepSeek-R1 和 DeepSeekMath 使用基于规则的正确性奖励对数学问题进行长链思维推理
微调代码生成模型，其中每个采样解决方案根据是否通过单元测试进行评分，并且该组被标准化以挑选获胜者
开源 RLHF 管道（例如，在 TRL 和 verl 库中）使用 GRPO 来调整聊天模型，而无需支付单独的价值网络费用
通过对每个提示的多个响应进行采样并奖励相对于同龄人而言奖励模型评分最高的响应，改善指令遵循或安全行为
集团相关政策优化的未来
GRPO 已迅速成为训练开放推理模型的默认方法，实验室正在迭代其弱点。研究人员正在探索修复长度和难度偏差（例如 GRPO 博士）、令牌级别而非序列级别标准化，以及删除或重塑 KL 术语。期望与可验证的奖励（数学、代码、工具使用）更紧密地集成，更好地处理稀疏信号，以及将群体基线与轻量级批评家相结合的混合体，以实现代理、多步骤任务。
付诸实践
为什么这很重要
- 成本与预算. 多年来，架构决策决定着性能和运营成本。
- 更清晰的判决. 技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
- 质量控制. 更好的工程选择可以减少生产中的可靠性事故。
留意
- 优化一项基准测试可以隐藏更广泛的系统弱点。
- 基础设施和维护成本常常被低估。
- 随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
后续步骤
- 在实施之前定义延迟、质量和成本目标。
- 在实际负载和数据条件下进行基准测试。
- 仪器监控错误、漂移和用户影响。
- 在扩展之前准备回滚和事件响应路径。
不断探索
常见问题
What is Group Relative Policy Optimization?
组相对策略优化 (GRPO) 是一种用于微调语言模型的强化学习方法，该方法根据同一提示的一组兄弟答案来判断每个答案，从而消除了 PPO 使用的单独价值网络。它作为 DeepSeek 推理模型背后的核心训练技巧而闻名。
Which separately learned estimator does the original GRPO approach avoid training?
GRPO uses a group-relative baseline rather than a separately learned value estimator. The size and resource savings depend on the PPO implementation used for comparison.
GRPO 如何计算给定完成的优势？
每次完成的优势是（奖励 - 组平均值）/组标准差，因此同一提示的答案组作为基线。
哪些车型让 GRPO 广为人知？
GRPO 由 DeepSeek 引入并普及，特别是在 DeepSeekMath 中以及作为 DeepSeek-R1 推理模型背后的 RL 引擎。
KL 散度项在 GRPO 中起什么作用？
针对参考（通常是强化学习前）模型的 KL 惩罚可以规范训练，从而使策略得到改进，而不会崩溃或陷入退化输出。
为什么 GRPO 对于训练数学或代码推理模型特别有吸引力？
对许多解决方案进行采样并通过自动正确性检查对其进行评分，与 GRPO 的群体归一化优势完美结合，无需批评家。