引导式测验 · 中等 等级

布拉德利-特里奖励建模测验

了解 Bradley-Terry 如何将成对选择转化为分数、支持奖励建模以及与常见排名系统的关系。

相关引导路径布拉德利·特里奖励模型
问题 1 的 8

Bradley-Terry 模型将什么转换为数字分数？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. Bradley-Terry 模型将什么转换为数字分数？
    • 成对比较哪个项目是首选
    • 绝对 1 到 10 评级
    • 原始像素值
    • 时间序列测量
  2. 在 Bradley-Terry 中，A 击败 B 的概率是什么函数？
    • 他们的分数的乘积
    • 他们的分数之间的差异的逻辑
    • 他们的代币数量比例
    • 无论分数如何，固定 50%
  3. 为什么布拉德利-特里奖励只能在加性常数范围内识别？
    • 因为分数之和必须为一
    • 因为人类不会数数
    • 因为损失仅取决于分数差异
    • 因为 sigmoid 删除了所有信息
  4. 奖励模型中单个偏好比较的标准损失是多少？
    • 针对 1 到 10 标签的均方误差
    • 完整词汇表的交叉熵
    • 令牌长度的绝对差
    • 负对数乙状结肠（选择的奖励减去拒绝的奖励）
  5. 哪种方法通过直接在策略上优化 Bradley-Terry 目标来跳过单独的奖励模型？
    • 直接偏好优化 (DPO)
    • 近端策略优化 (PPO)
    • 批量归一化
    • 渐变裁剪
  6. 布拉德利-特里假设的主要限制是什么？
    • 它需要 GPU 来计算
    • 它假设一个一致的、可传递的排名，当偏好循环时，这个排名可能会被打破
    • 它仅适用于图像
    • 它不能处理超过三个项目
  7. Why can pairwise judgments be easier to collect than absolute quality scores?
    • Pairwise choices never contain disagreement
    • Absolute scores cannot be used for training
    • A rater can compare two candidates directly without calibrating a numeric scale
    • A pairwise label reveals every feature of the reward model
  8. Which familiar ranking system is mathematically related to Bradley-Terry-style pairwise scoring?
    • PageRank for web pages
    • TF-IDF for document terms
    • A Fourier transform for audio
    • Elo ratings