ガイド連動クイズ · 中 レベル

オッズ比の好みの最適化クイズ

ORPO の参照モデルを使用しない優先目標、オッズ比ペナルティ、教師付きトレーニングと優先トレーニングを組み合わせたものについて説明します。

関連するガイドパスオッズ比優先の最適化
質問 1 の 8

DPO のような方法と比較した ORPO の主な実際的な利点は何ですか?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. DPO のような方法と比較した ORPO の主な実際的な利点は何ですか?
    • 個別の参照モデルが不要になります
    • トレーニングデータはまったく必要ありません
    • 画像モデルでのみ動作します
    • 幻覚ゼロを保証します
  2. ORPO の「オッズ比」はどのようなものですか?
    • トレーニング速度と精度
    • 選択された応答と拒否された応答の確率
    • 2 つの異なる学習率
    • モデルのサイズとデータセットのサイズ
  3. What form does an ORPO preference example contain?
    • Only a single unlabeled response
    • A prompt with two identical completions
    • A prompt with one chosen response and one disfavored response
    • A reward score with no associated responses
  4. How does ORPO convert a response probability p into odds?
    • One minus p divided by p
    • The square root of p
    • The logarithm of the prompt length
    • p divided by one minus p
  5. ORPO 損失を最もよく表すのはどの組み合わせですか?
    • SFT クロスエントロピーと重み付きオッズ比優先項
    • 報酬モデルのスコアのみ
    • 純粋な強化学習のリターン
    • ランダムノイズ注入
  6. Which response receives the supervised fine-tuning component of ORPO?
    • Only the rejected response
    • The chosen or preferred response
    • A response sampled after deployment
    • No response; ORPO has no language-modeling term
  7. Which parameter controls the weight of ORPO’s preference term relative to the supervised loss?
    • トークナイザーの語彙サイズ
    • アテンションヘッドの数
    • The preference-loss coefficient
    • The prompt’s character count
  8. Why should an ORPO result report its preference data and evaluation setup?
    • ORPO results are identical across datasets
    • The objective removes the need for evaluation
    • The number of model layers determines every preference
    • Outcomes depend on the dataset, coefficient, base model, and evaluation