プリファレンス最適化クイズにおける長さの正規化

クイズに答えると、答えと解説が表示されます。

1. DPO における長さの正規化は主にどのような望ましくない動作を防ぐことを目的としていますか?
   • 実際の品質に関係なく、より長い応答を好むモデル
   • 質問に答えることを拒否するモデル
   • モデルの幻覚事実
   • モデルの応答が遅すぎる
2. 標準 DPO の暗黙的報酬が応答の長さに応じて増加する傾向があるのはなぜですか?
   • 報酬に温度を乗算します
   • これは、トークンごとの対数確率の差の合計です。
   • 文ごとに固定ボーナスを使用します
   • 短答には明示的にペナルティを課す
3. SimPO は長さの偏りにどのように対処しますか?
   • リファレンスモデルの重量が2倍になります
   • すべての応答を固定長に切り詰めます。
   • トークンごとの平均対数確率を報酬として使用します。
   • 設定データを完全に削除します
4. SimPO と標準 DPO の注目すべき構造上の違いは、SimPO が次のとおりであることです。
   • 2 倍のトレーニング データが必要
   • 画像のみで動作します
   • 勾配降下法を無効にします
   • 別の参照モデルを使用しません
5. モデルの長さだけではなく品質が向上していることを確認するのに役立つ評価手法はどれですか?
   • 長さによって管理された勝率を報告する
   • 合計パラメータのカウント
   • GPU温度の測定
   • バッチサイズを増やす
6. Which chat-based benchmarks did the SimPO paper use in its reported evaluations?
   • ImageNet, COCO, and GLUE
   • AlpacaEval 2, MT-Bench, and Arena-Hard
   • LibriSpeech, WER, and BLEU
   • MMLU, GSM8K, and HumanEval only
7. What does SimPO’s target reward margin encourage between a preferred and rejected response?
   • Identical scores for both responses
   • A longer preferred response regardless of quality
   • A larger score difference in favor of the preferred response
   • A new reference model for every token
8. What risk can overly aggressive length normalization create?
   • It guarantees all answers have the same factual accuracy
   • It makes the reference model’s vocabulary larger
   • It prevents evaluators from comparing responses
   • It can favor answers that are too terse to include necessary detail