概述
在语言模型 RLHF 中，奖励和 KL 项是更大训练设置的一部分。
深入探讨
PPO 使用新旧策略之间的概率比，并将其限制在替代目标的指定范围内。在 RLHF 实现中，可以包括奖励模型、KL 惩罚和价值函数。价值估计支持优势计算；它本身并不是奖励。实现方式不同，因此细节应限于方法或系统。 PPO 裁剪限制了替代目标对裁剪区间之外的比率的激励；它不保证有界参数更新。在标准的在政策 PPO 中，最近的轨迹来自正在优化的政策。 DeepSeekMath 引入了 GRPO，它可以在没有单独的价值评估器的情况下估计采样输出组之间的相对优势；这是方法描述，不保证零漂移。
现实世界的实施
收集当前策略对一批提示的响应。
使用学习的奖励模型或任务信号对响应进行评分。
在更新期间跟踪 KL 与参考策略的偏差。
将 PPO 运行与固定评估和部署预算进行比较。
近端策略优化的未来
PPO 仍然是一种具有实现权衡的通用 RL 方法。评估实际训练配置下的计算、部署质量和策略行为。
付诸实践
为什么这很重要
- 速度与规模. 语言工作流程可以在不牺牲一致性的情况下更快地移动。
- 交通与覆盖范围. 它扩展了跨语言和沟通方式的访问。
- 更清晰的判决. 团队可以花更多时间进行判断，而自动化则可以处理重复。
留意
- 幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
- 及时的敏感性可能会在类似的请求中产生不一致的结果。
- 如果访问控制薄弱，敏感文本数据可能会暴露。
后续步骤
- 在推出之前定义输出格式、语气和质量标准。
- 当准确性很重要时，请使用可信来源进行地面响应。
- 为高风险输出保留人工审查检查点。
- 跟踪故障模式并定期重新训练提示或工作流程。
不断探索
常见问题
什么是近端策略优化？
近端策略优化是一种策略梯度方法，它使用修剪的代理目标来限制策略更新。在语言模型 RLHF 中，奖励和 KL 项是更大训练设置的一部分。
PPO 的“裁剪”主要解决什么问题？
当比率移出裁剪区间时，PPO 裁剪会限制其替代目标中的政策比率激励。它不鼓励对该目标进行大的政策改变，但在数学上不能保证有限的参数更新。
在具有 PPO 的语言模型 RLHF 中，奖励信号通常来自哪里？
奖励模型为生成的响应提供标量奖励，因为让人类在强化学习期间对每个输出进行评分是不可行的。
KL 散度惩罚在基于 PPO 的 RLHF 中起什么作用？
针对原始（参考）策略的每个代币 KL 惩罚会阻止模型在追逐奖励时过于剧烈地改变其行为。
价值（批评）网络在 PPO 中的作用是什么？
PPO是一种演员批评家方法；价值网络估计预期奖励，从而实现优势估计（通常通过 GAE），从而减少方差。
PPO 的“优势”代表什么？
优势衡量所选行动相对于价值估计的好（或更差）程度，告诉政策要加强哪些行动。