引導式測驗 · 中等 等級
偏好優化測驗中的長度標準化
檢查偏好調整目標如何處理回應長度、SimPO 為何標準化標記分數以及如何評估簡潔的答案。
問題 1 的 8
DPO 中的長度標準化主要旨在防止哪些不良行為?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- DPO 中的長度標準化主要旨在防止哪些不良行為?
- 無論實際品質如何,模型都傾向於更長的反應
- 模特兒拒絕回答問題
- 模型產生幻覺的事實
- 模型響應太慢
- 為什麼標準 DPO 的隱性獎勵往往會隨著反應長度的增加而增加?
- 它將獎勵乘以溫度
- 它是每個標記對數機率差異的總和
- 它對每句話使用固定獎勵
- 它明確懲罰簡短的答案
- SimPO 如何解決長度偏差?
- 它使參考模型的重量增加了一倍
- 它將所有響應截斷為固定長度
- 它使用平均每個令牌對數機率作為獎勵
- 它完全刪除偏好數據
- SimPO 和標準 DPO 之間的一個顯著結構差異是 SimPO:
- 需要兩倍的訓練數據
- 僅適用於影像
- 禁用梯度下降
- 不使用單獨的參考模型
- 哪種評估實踐有助於確認模型品質的提高而不僅僅是長度的提高?
- 報告長度控制的獲勝率
- 計算總參數
- 測量GPU溫度
- 增加批量大小
- Which chat-based benchmarks did the SimPO paper use in its reported evaluations?
- ImageNet, COCO, and GLUE
- AlpacaEval 2, MT-Bench, and Arena-Hard
- LibriSpeech, WER, and BLEU
- MMLU, GSM8K, and HumanEval only
- What does SimPO’s target reward margin encourage between a preferred and rejected response?
- Identical scores for both responses
- A longer preferred response regardless of quality
- A larger score difference in favor of the preferred response
- A new reference model for every token
- What risk can overly aggressive length normalization create?
- It guarantees all answers have the same factual accuracy
- It makes the reference model’s vocabulary larger
- It prevents evaluators from comparing responses
- It can favor answers that are too terse to include necessary detail