ガイド連動クイズ · 中 レベル

報酬モデリング クイズ

RLHF での報酬モデルのスコア、嗜好データ、ペアごとのランキングの損失、報酬のハッキング、ベストオブ N の使用をテストします。前提条件と範囲を確認します。

関連するガイドパス報酬モデリング
質問 1 の 8

与えられたプロンプトと応答のペアに対する報酬モデルの主な出力は何ですか?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. 与えられたプロンプトと応答のペアに対する報酬モデルの主な出力は何ですか?
    • 単一のスカラー スコア
    • 全文返信
    • 語彙全体の確率分布
    • 優先トークンのリスト
  2. What feedback format did the InstructGPT paper collect to train its reward model?
    • A guaranteed correctness label for every possible answer
    • Human rankings of several model responses, converted into pairwise preferences
    • A single sentiment score for each training prompt
    • Only binary safety labels with no response comparisons
  3. 標準報酬モデル損失は何を最適化しますか?
    • すべての応答の絶対報酬値
    • 次のトークンの予測精度
    • 選択された応答のスコアが拒否された応答よりも高いこと
    • 応答の長さ
  4. 「報酬ハッキング」とは何ですか?
    • 競合他社の報酬モデルを盗む
    • トレーニングをスピードアップする方法
    • 報酬信号の暗号化
    • 報酬モデルの欠陥を悪用して、真の品質なしで高スコアを取得するポリシー
  5. 報酬モデルは言語モデルからアーキテクチャ的にどのように派生するのでしょうか?
    • トークン予測ヘッドを単一のスカラー出力ヘッドに置き換えることによって
    • アテンションレイヤーをさらに追加することで
    • すべてのトランス層を削除することにより、
    • 語彙力を倍増させることで
  6. Best-of-N サンプリングの推論時に報酬モデルはどのように使用されますか?
    • N 個の報酬モデルを並行してトレーニングする
    • 複数の応答を生成し、報酬モデルを使用して最もスコアの高い応答を選択する
    • 最も一般的な N 個のトークンの選択
    • N 個のモデル チェックポイントの平均化
  7. Why might an RLHF study use an ensemble of reward models during training?
    • To guarantee that reward hacking is impossible
    • To replace the human preference data with exact correctness labels
    • To estimate disagreement or uncertainty across learned preference scorers
    • To ensure every candidate receives the same score
  8. Why should reward-model evaluations include held-out comparisons?
    • To ensure training comparisons are never used
    • To make every output identical
    • To guarantee the reward is unbiased
    • To test whether preferences generalize beyond the training comparisons