直接プリファレンス最適化クイズ

クイズに答えると、答えと解説が表示されます。

1. 従来の RLHF と比較して、DPO は何を排除しますか?
   • 個別の報酬モデルと強化学習ループ
   • 人間の好みに関するデータの必要性
   • 基本の事前トレーニング済み言語モデル
   • 対数確率の使用
2. 単一の DPO トレーニング サンプルはどのようなデータで構成されていますか?
   • プロンプトと数値報酬スコア
   • 選択された応答と拒否された応答を含むプロンプト
   • プロンプトと 1 つの正解
   • 報酬モデルの出力のみ
3. 参照モデルは DPO においてどのような役割を果たしますか?
   • 拒否された応答を生成します
   • 明示的な報酬で応答をスコアリングします
   • ドリフトを制限するためにポリシーが測定される凍結されたベースラインです
   • トレーニングデータを置き換えます
4. How does the DPO loss use a labeled preference pair?
   • It regresses both responses to the same scalar target
   • It trains a separate value critic to predict token-level returns
   • It maximizes the rejected response without a reference
   • It increases the chosen response’s policy-versus-reference log-ratio relative to the rejected response
5. DPO のベータ (温度) パラメーターは何を制御しますか?
   • ポリシーが参照モデルにどの程度強く保たれるか
   • オプティマイザーの学習率
   • 好みのペアの数
   • 語彙のサイズ
6. Which alignment objective can learn from binary feedback that an output is desirable or undesirable?
   • PPO, which requires a value critic for every label
   • KTO, a prospect-theoretic objective for binary desirability feedback
   • DARTS, which searches differentiable network cells
   • Beam search, which changes model weights from rankings
7. In a standard DPO preference example, which response is preferred?
   • The response with more tokens by definition
   • The response with the lowest reference likelihood
   • The response selected by the preference labeler for the given prompt
   • A random response unrelated to the prompt
8. In DPO, what expression serves as the implicit reward for a response, up to an input-dependent constant?
   • A separately trained scalar reward-model head
   • A human-written point score for each token
   • The average sequence length of preference data
   • Beta times the policy/reference log-probability ratio