引導式測驗 · 中等 等級

偏好優化測驗中的長度標準化

檢查偏好調整目標如何處理回應長度、SimPO 為何標準化標記分數以及如何評估簡潔的答案。

問題 1 的 8

DPO 中的長度標準化主要旨在防止哪些不良行為?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. DPO 中的長度標準化主要旨在防止哪些不良行為?
    • 無論實際品質如何,模型都傾向於更長的反應
    • 模特兒拒絕回答問題
    • 模型產生幻覺的事實
    • 模型響應太慢
  2. 為什麼標準 DPO 的隱性獎勵往往會隨著反應長度的增加而增加?
    • 它將獎勵乘以溫度
    • 它是每個標記對數機率差異的總和
    • 它對每句話使用固定獎勵
    • 它明確懲罰簡短的答案
  3. SimPO 如何解決長度偏差?
    • 它使參考模型的重量增加了一倍
    • 它將所有響應截斷為固定長度
    • 它使用平均每個令牌對數機率作為獎勵
    • 它完全刪除偏好數據
  4. SimPO 和標準 DPO 之間的一個顯著結構差異是 SimPO:
    • 需要兩倍的訓練數據
    • 僅適用於影像
    • 禁用梯度下降
    • 不使用單獨的參考模型
  5. 哪種評估實踐有助於確認模型品質的提高而不僅僅是長度的提高?
    • 報告長度控制的獲勝率
    • 計算總參數
    • 測量GPU溫度
    • 增加批量大小
  6. Which chat-based benchmarks did the SimPO paper use in its reported evaluations?
    • ImageNet, COCO, and GLUE
    • AlpacaEval 2, MT-Bench, and Arena-Hard
    • LibriSpeech, WER, and BLEU
    • MMLU, GSM8K, and HumanEval only
  7. What does SimPO’s target reward margin encourage between a preferred and rejected response?
    • Identical scores for both responses
    • A longer preferred response regardless of quality
    • A larger score difference in favor of the preferred response
    • A new reference model for every token
  8. What risk can overly aggressive length normalization create?
    • It guarantees all answers have the same factual accuracy
    • It makes the reference model’s vocabulary larger
    • It prevents evaluators from comparing responses
    • It can favor answers that are too terse to include necessary detail