引导式测验 · 中等 等级

偏好优化测验中的长度标准化

检查偏好调整目标如何处理响应长度、SimPO 为何标准化标记分数以及如何评估简洁的答案。

相关引导路径偏好优化中的长度归一化
问题 1 的 8

DPO 中的长度标准化主要旨在防止哪些不良行为？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. DPO 中的长度标准化主要旨在防止哪些不良行为？
    • 无论实际质量如何，模型都倾向于更长的响应
    • 模特拒绝回答问题
    • 模型产生幻觉的事实
    • 模型响应太慢
  2. 为什么标准 DPO 的隐性奖励往往会随着响应长度的增加而增加？
    • 它将奖励乘以温度
    • 它是每个标记对数概率差异的总和
    • 它对每句话使用固定奖励
    • 它明确惩罚简短的答案
  3. SimPO 如何解决长度偏差？
    • 它使参考模型的重量增加了一倍
    • 它将所有响应截断为固定长度
    • 它使用平均每个令牌对数概率作为奖励
    • 它完全删除偏好数据
  4. SimPO 和标准 DPO 之间的一个显着结构差异是 SimPO：
    • 需要两倍的训练数据
    • 仅适用于图像
    • 禁用梯度下降
    • 不使用单独的参考模型
  5. 哪种评估实践有助于确认模型质量的提高而不仅仅是长度的提高？
    • 报告长度控制的获胜率
    • 计算总参数
    • 测量GPU温度
    • 增加批量大小
  6. Which chat-based benchmarks did the SimPO paper use in its reported evaluations?
    • ImageNet, COCO, and GLUE
    • AlpacaEval 2, MT-Bench, and Arena-Hard
    • LibriSpeech, WER, and BLEU
    • MMLU, GSM8K, and HumanEval only
  7. What does SimPO’s target reward margin encourage between a preferred and rejected response?
    • Identical scores for both responses
    • A longer preferred response regardless of quality
    • A larger score difference in favor of the preferred response
    • A new reference model for every token
  8. What risk can overly aggressive length normalization create?
    • It guarantees all answers have the same factual accuracy
    • It makes the reference model’s vocabulary larger
    • It prevents evaluators from comparing responses
    • It can favor answers that are too terse to include necessary detail