概述
在现代 AI 中，它驱动奖励模型，从“哪个答案更好？”标签中学习人类偏好，成为 RLHF 的支柱。
深入探讨
Bradley-Terry 于 1952 年提出，假设每个项目都有一个隐藏的强度得分，并且项目 A 击败项目 B 的概率是它们得分差异的逻辑函数。在人工智能对齐中，这巧妙地映射到偏好数据：人类贴标签者看到两个模型响应并选择更好的一个，而不是给出难以校准的绝对评级。奖励模型（通常是具有标量输出头的语言模型）经过训练，以便人类首选的响应获得更高的标量奖励。损失是 Bradley-Terry 概率的负对数似然：最大化（选择的奖励减去拒绝的奖励）的对数 sigmoid。然后，生成的奖励模型对任意输出进行评分，提供 PPO 等强化学习算法优化的信号，使模型更有帮助且更一致。
现实世界的实施
在 RLHF 中训练奖励模型，对两个聊天机器人的响应进行排名，并向 PPO 微调提供更好或更差的信号。
直接偏好优化使用 Bradley-Terry log-sigmoid 损失直接在选择与拒绝的答案对上微调模型。
通过 Elo 对国际象棋或电子竞技选手进行排名，这在数学上与比赛结果的 Bradley-Terry 模型非常接近。
根据“用户更喜欢 A 而不是 B”的点击数据而不是绝对星级来构建内容推荐排名。
Bradley-Terry 奖励模型的未来
布拉德利-特里假设有一个一致的排名和传递偏好，当人们意见不一致或偏好循环时，它就会崩溃。研究正在转向捕捉偏好分布、多维奖励（帮助、安全、诚实分别评分）的模型，以及像纳什这样从人类反馈中学习的方法，这些方法放弃了单分假设。 DPO 及其变体越来越多地将 Bradley-Terry 目标直接纳入政策培训。期望更丰富的比较方案，包括两个以上项目的排名和置信加权偏好，以减少奖励黑客行为。
付诸实践
为什么这很重要
- 更清晰的判决. 它可以帮助您将清晰的技术声明与营销语言分开。
- 成本与预算. 在花费金钱或时间之前，您可以提出更好的实施问题。
- 团队与工作流程. 具有共同理解的团队可以做出更好的产品、政策和学习决策。
留意
- 不同的团队可能会以不同的方式使用同一术语，因此请尽早定义范围。
- 基准测试可能看起来很强大，但实际性能却参差不齐。
- 忽视数据质量和评估计划通常会产生脆弱的结果。
后续步骤
- 从您需要的结果的简单语言定义开始。
- 在测试之前选择一种成功指标和一种失败条件。
- 使用代表性数据运行小型试点，而不是完善的演示集。
- 记录 Bradley-Terry 奖励模型在哪些方面有帮助以及在哪些方面更简单的方法更好。
不断探索
常见问题
什么是 Bradley-Terry 奖励建模？
Bradley-Terry 模型是一种具有百年历史的统计方法，用于将成对比较（A 击败 B）转化为数字分数。在现代人工智能中，它支持奖励模型，从“哪个答案更好？”中学习人类的偏好。标签，RLHF 的支柱。
Bradley-Terry 模型将什么转换为数字分数？
Bradley-Terry 进行成对“A 击败 B”比较，并推断出每个项目的隐藏强度分数，这就是为什么它如此适合人类偏好标签的原因。
在 Bradley-Terry 中，A 击败 B 的概率是什么函数？
该模型将 P(A 击败 B) 设置为等于 A 和 B 的隐藏强度分数之间差异的逻辑（S 形）。
为什么布拉德利-特里奖励只能在加性常数范围内识别？
训练损失仅使用选择的奖励和拒绝的奖励之间的差异，因此将所有分数移动相同的常数使损失保持不变；绝对比例是任意的。
奖励模型中单个偏好比较的标准损失是多少？
Bradley-Terry 负对数似然减少为选择减去拒绝奖励差异的负对数 sigmoid，从而将所选响应的奖励推高。
哪种方法通过直接在策略上优化 Bradley-Terry 目标来跳过单独的奖励模型？
DPO 重新制定了 Bradley-Terry 偏好目标，使其可以直接应用于政策模型，从而无需训练和查询独立的奖励模型。