概述
Bradley-Terry 模型是一种具有百年历史的统计方法，用于将成对比较（A 击败 B）转化为数字分数。在现代人工智能中，它支持奖励模型，从“哪个答案更好？”中学习人类的偏好。标签，RLHF 的支柱。
Bradley-Terry 奖励模型位于核心人工智能工具包中。当你理解它时，其他人工智能主题就变得更容易评估和比较。
深入探讨
Bradley-Terry 于 1952 年提出，假设每个项目都有一个隐藏的强度得分，并且项目 A 击败项目 B 的概率是它们得分差异的逻辑函数。在人工智能对齐中，这巧妙地映射到偏好数据：人类贴标签者看到两个模型响应并选择更好的一个，而不是给出难以校准的绝对评级。奖励模型（通常是具有标量输出头的语言模型）经过训练，以便人类首选的响应获得更高的标量奖励。损失是 Bradley-Terry 概率的负对数似然：最大化（选择的奖励减去拒绝的奖励）的对数 sigmoid。然后，生成的奖励模型对任意输出进行评分，提供 PPO 等强化学习算法优化的信号，使模型更有帮助且更一致。
技术洞察
比较的训练损失只是减去 (r_chosen − r_rejected) 的 log-sigmoid，因此模型仅学习相对差异。这意味着奖励只能在累加常数范围内识别；绝对比例是任意的。由于对人类来说，比较比 1 到 10 的分数更容易且更一致，因此 Bradley-Terry 数据的噪音较小。直接偏好优化稍后表明您可以跳过单独的奖励模型并直接在策略上优化 Bradley-Terry 目标。
掌握 Bradley-Terry 奖励模型
Bradley-Terry 模型是一种具有百年历史的统计方法，用于将成对比较（A 击败 B）转化为数字分数。在现代人工智能中，它支持奖励模型，从“哪个答案更好？”中学习人类的偏好。标签，RLHF 的支柱。 Bradley-Terry 奖励模型位于核心人工智能工具包中。当你理解它时，其他人工智能主题就变得更容易评估和比较。为了建立深入的理解，请将 Bradley-Terry 奖励模型视为一种操作模型，而不是单一功能：定义期望的结果，澄清假设，并将系统可以可靠地执行的操作与仍需要专家判断的操作分开。
在实践中，使用 Bradley-Terry 奖励模型的强大团队首先构建强大的概念模型，然后将这些模型映射到实际的生产约束。他们记录明确的成功标准，根据实际数据和工作流程进行测试，并根据观察到的失败模式而不是一次性基准测试胜利进行迭代。这就是理论理解转变为跨产品、政策和运营的持久能力的地方。
它可以帮助您将清晰的技术声明与营销语言分开。同时，不同的团队可能会以不同的方式使用同一术语，因此请尽早定义范围。最具弹性的方法是将实验速度与治理规则结合起来：运行试点、捕获证据、发布决策日志，并随着模型行为、用户期望和监管要求的发展不断更新保障措施。
战略影响
它可以帮助您将清晰的技术声明与营销语言分开。
它可以帮助您将清晰的技术声明与营销语言分开。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
在花费金钱或时间之前，您可以提出更好的实施问题。
在花费金钱或时间之前，您可以提出更好的实施问题。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
具有共同理解的团队可以做出更好的产品、政策和学习决策。
具有共同理解的团队可以做出更好的产品、政策和学习决策。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
现实世界的实施
在 RLHF 中训练奖励模型，对两个聊天机器人的响应进行排名，并向 PPO 微调提供更好或更差的信号。
直接偏好优化使用 Bradley-Terry log-sigmoid 损失直接在选择与拒绝的答案对上微调模型。
通过 Elo 对国际象棋或电子竞技选手进行排名，这在数学上与比赛结果的 Bradley-Terry 模型非常接近。
根据“用户更喜欢 A 而不是 B”的点击数据而不是绝对星级来构建内容推荐排名。
实施模式
Bradley-Terry 奖励模型的实践
在 RLHF 中训练奖励模型，对两个聊天机器人的响应进行排名，并向 PPO 微调提供更好或更差的信号。
在 RLHF 中训练奖励模型，对两个聊天机器人的响应进行排名，并向 PPO 微调提供更好或更差的信号。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会获得更好的结果。
Bradley-Terry 奖励模型的实践
直接偏好优化使用 Bradley-Terry log-sigmoid 损失直接在选择与拒绝的答案对上微调模型。
直接偏好优化使用 Bradley-Terry log-sigmoid 损失直接在选择与拒绝的答案对上微调模型。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会获得更好的结果。
Bradley-Terry 奖励模型的实践
通过 Elo 对国际象棋或电子竞技选手进行排名，这在数学上与比赛结果的 Bradley-Terry 模型非常接近。
通过 Elo 对国际象棋或电子竞技选手进行排名，这在数学上是 Bradley-Terry 游戏结果模型的近亲。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会获得更好的结果。
Bradley-Terry 奖励模型的实践
根据“用户更喜欢 A 而不是 B”的点击数据而不是绝对星级来构建内容推荐排名。
根据“用户更喜欢 A 而不是 B”的点击数据而不是绝对星级评级来构建内容推荐排名 团队在预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会获得更好的结果。
风险与防护栏
不同的团队可能会以不同的方式使用同一术语，因此请尽早定义范围。
基准测试可能看起来很强大，但实际性能却参差不齐。
忽视数据质量和评估计划通常会产生脆弱的结果。
实施路线图
从您需要的结果的简单语言定义开始。
从您需要的结果的简单语言定义开始。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
在测试之前选择一种成功指标和一种失败条件。
在测试之前选择一种成功指标和一种失败条件。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
使用代表性数据运行小型试点，而不是完善的演示集。
使用代表性数据运行小型试点，而不是完善的演示集。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
记录 Bradley-Terry 奖励模型在哪些方面有帮助以及在哪些方面更简单的方法更好。
记录 Bradley-Terry 奖励模型在哪些方面有帮助以及在哪些方面更简单的方法更好。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。