ガイド連動クイズ · 中 レベル

反復的な DPO およびオンライン設定チューニング クイズ

反復的な DPO がどのようにプリファレンス データを更新し、ジャッジを使用し、追加のコストとバイアスに対して繰り返しの調整ラウンドをトレードするかを学びましょう。

関連するガイドパス反復的な DPO とオンライン設定チューニング
質問 1 の 8

従来の RLHF (PPO) が必要とするものを DPO が回避しているのは何ですか?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. 従来の RLHF (PPO) が必要とするものを DPO が回避しているのは何ですか?
    • 別の明示的な報酬モデルをトレーニングする
    • あらゆるトレーニングデータ
    • ニューラルネットワークの使用
    • 完全に人間の好み
  2. 固定データセットに対して DPO を 1 回実行するよりも、反復 (オンライン) DPO の方が優れている場合が多いのはなぜですか?
    • 優先ラベルは必要ありません
    • モデルが変更されても、トレーニング データをポリシーに従って最新の状態に保ちます。
    • 参照モデルを削除します
    • 画像に対してのみ機能します
  3. 参照モデルは DPO 損失においてどのような役割を果たしますか?
    • 最終的なユーザー出力を生成します
    • 好みにラベルを付けます
    • 対数確率比を介してポリシーを固定し、逸脱を制御します
    • トークナイザーを置き換えます
  4. オンライン DPO の 1 回の反復における一般的なシーケンスは何ですか?
    • モデルを削除して、最初から再トレーニングします
    • サンプリングせずに古いデータのみを再ラベルする
    • 応答に対して CNN をトレーニングする
    • 新しい応答をサンプルし、好みを判断して、DPO 更新を実行します。
  5. DPO のベータ ハイパーパラメータは何を制御しますか?
    • ポリシーが参照モデルからどの程度逸脱しているか
    • 語彙のサイズ
    • GPUの数
    • 画像の解像度
  6. 「自分にご褒美を与える」反復型 DPO の背後にある重要なアイデアは何ですか?
    • モデルは設定を一切使用しません
    • モデルは独自の応答ペアを生成および判断してトレーニング データを作成します
    • 人間はすべてのペアにラベルを付ける必要があります
    • ランダムな報酬のみを使用します
  7. Who can label response preferences in an online DPO iteration?
    • Only the tokenizer
    • Only the reference policy’s embedding layer
    • Human raters or an AI judge such as a reward model
    • A discriminator that never sees responses
  8. What additional work does iterative DPO require compared with using a fixed preference dataset once?
    • Training no model parameters
    • Removing all evaluation from the pipeline
    • Storing every possible response in advance
    • Repeated response generation and preference labeling between updates