比值比偏好优化
比值比偏好优化 (ORPO) 是一种微调方法，可在单次训练中教会语言模型良好的行为和人类偏好。
概述
这很重要，因为它跳过了通常的单独奖励模型和参考模型，使对齐更便宜、更简单。
深入探讨
ORPO 由 Hong、Lee 和 Thorne 于 2024 年提出，将监督微调和偏好调整合二为一。大多数对齐管道首先对好的示例进行 SFT，然后运行第二种方法，例如 RLHF 或 DPO，该方法需要模型的冻结副本（参考）以及存储的偏好对。 ORPO 完全删除了参考模型。它的损失为标准的下一个令牌目标增加了一个惩罚项：它提高了模型分配给所选（首选）响应的几率，同时降低了拒绝响应的几率。因为它使用优势比而不是强大的对数概率差距，所以惩罚很温和，因此模型学会了支持好的答案，而不会灾难性地忘记流畅的生成。
技术洞察
ORPO 的损失是 SFT 交叉熵损失加上所选响应和拒绝响应之间对数优势比的加权对数 sigmoid。赔率等于 p/(1-p)，因此该比率会比较模型找到好答案与坏答案的可能性有多大。使用赔率而不是原始概率可以保持对比温和，从而防止过度抑制被拒绝的标记，从而降低未引用模型的性能。
战略影响
速度与规模
语言工作流程可以在不牺牲一致性的情况下更快地移动。
交通与覆盖范围
它扩展了跨语言和沟通方式的访问。
更清晰的判决
团队可以花更多时间进行判断，而自动化则可以处理重复。
比值比偏好优化的未来
ORPO 越来越受欢迎，因为它通过放弃参考模型来减少内存和计算量，这对于在有限硬件上进行微调的团队很有吸引力。预计它会更频繁地出现在开源食谱中，并作为 Hugging Face TRL 等库的默认选项。未来的工作可能会自动调整 lambda 权重，将 ORPO 与其他无参考目标混合，并将其扩展到多模式和非常大的模型，在这些模型中，在内存中保存两个副本的成本很高。
现实世界的实施
在偏好对上微调开源 7B 聊天模型，无需加载第二个参考副本，从而将 GPU 内存减半
一家初创公司将客户支持助理调整为在一次培训中更喜欢礼貌、符合政策的答案，而不是 SFT-then-DPO
研究人员在同一数据集上将 ORPO 与 DPO 进行比较，以显示较低计算量的可比较一致性
将基本模型调整到专门领域（例如法律起草），其中可以使用好的和坏的示例对，但没有奖励模型预算
风险与防护栏
幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
及时的敏感性可能会在类似的请求中产生不一致的结果。
如果访问控制薄弱，敏感文本数据可能会暴露。
实施路线图
在推出之前定义输出格式、语气和质量标准。
当准确性很重要时，请使用可信来源进行地面响应。
为高风险输出保留人工审查检查点。
跟踪故障模式并定期重新训练提示或工作流程。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Odds Ratio Preference Optimization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
什么是优势比偏好优化？
比值比偏好优化 (ORPO) 是一种微调方法，可在单次训练中教会语言模型良好的行为和人类偏好。这很重要，因为它跳过了通常的单独奖励模型和参考模型，使对齐更便宜、更简单。
与 DPO 等方法相比，ORPO 的主要实际优势是什么？
ORPO 将偏好学习纳入 SFT 损失中，不需要模型的冻结参考副本，从而节省了内存和计算量。
ORPO 中的“比值比”有何不同？
ORPO 使用模型分配给首选答案与不首选答案的优势比 (p/(1-p))。
ORPO 在一次训练中执行哪两项任务？
ORPO 将标准 SFT 下一个代币目标与偏好惩罚结合在一个统一的损失中。
为什么 ORPO 使用赔率而不是原始对数概率差来进行处罚？
基于赔率的惩罚较为温和，有助于未引用模型保持流畅的生成，同时仍然更喜欢好的答案。
ORPO 损失最好描述为哪种组合？
ORPO 在监督交叉熵损失的基础上添加了加权对数 sigmoid 优势比项。