人間のフィードバックからの強化学習クイズ

クイズに答えると、答えと解説が表示されます。

1. 言語モデルにおける RLHF の主な目的は何ですか?
   • 有用性と安全性に関する人間の好みに合わせて出力を調整するため
   • モデルのパラメータ数を増やすには
   • 推論を高速化するためにモデルを圧縮するには
   • モデルを他の言語に翻訳するには
2. RLHF の報酬モデルは実際に何を行うかを学習しますか?
   • ユーザーへの最終応答を生成する
   • プロンプトを報酬通貨に変換する
   • 人間が特定の応答をどの程度好むかを反映するスカラー スコアを割り当てます。
   • モデルの学習率を決定する
3. 参照ポリシーに対する KL ダイバージェンス ペナルティは、RLHF の目標で規則化することを目的としていますか?
   • Every factual error with a complete correctness guarantee
   • How far the optimized policy departs from the reference
   • The tokenizer vocabulary’s spelling
   • The number of human annotators automatically
4. 報酬モデルのために嗜好データは通常どのように収集されますか?
   • 人間はまったく新しい答えをゼロから書きます
   • モデル自体の信頼度を評価する
   • ランダムなラベルが自動的に割り当てられます
   • 人間は同じプロンプトに対する 2 つのモデル応答を比較し、より良い方を選択します。
5. DPO (Direct Preference Optimization) は、従来の RLHF パイプラインに比べてどのような利点がありますか?
   • データはまったく必要ありません
   • モデルが決して間違っていないことを保証します
   • 個別の報酬モデルと PPO ループをスキップして、プリファレンス ペアから直接ポリシーを最適化します。
   • 事前トレーニングの必要がなくなります
6. RLAIF と憲法 AI では、フィードバックの多くはどこから来ていますか?
   • AI モデルによる応答の生成または批評により、人間によるラベル付けが削減されます。
   • 有料のヒューマン・アノテーターのみ
   • 乱数発生器から
   • モデルの事前トレーニング コーパスから直接
7. An RLHF response receives a high learned reward but contains a false claim. What does this show?
   • High reward proves the claim is true
   • The response must have been generated without tokens
   • The reference model’s vocabulary disappeared
   • A preference-based reward is a proxy and can be mistaken
8. Why should an RLHF team examine whose preference comparisons were collected?
   • Annotator identity determines the GPU clock rate
   • The judgments and task distribution shape what the model is rewarded for
   • Every population has identical response preferences
   • Preference data affect only file compression