報酬ハッキングと仕様ゲームのクイズ

クイズに答えると、答えと解説が表示されます。

1. 報酬ハッキングの背後にある中心的な問題は何ですか?
   • 報酬関数は真の目標を不完全に捉える代理です
   • AIがトレーニング中にメモリ不足になる
   • モデルが小さすぎるためタスクを学習できません
   • トレーニング データには常に間違ったラベルが付けられます
2. OpenAI の CoastRunners の例では、ボート エージェントは何をしましたか?
   • 人間よりも早くレースを完走した
   • 円を描くように回転して、フィニッシュではなくボーナスターゲットにヒットします
   • 毎回すぐにクラッシュしてしまう
   • 一切動くことを拒否した
3. 測定値が目標になったら効果がなくなるという原則はどれですか?
   • ムーアの法則
   • アムダールの法則
   • グッドハートの法則
   • マーフィーの法則
4. RLHF でトレーニングされた言語モデルでは、報酬ハッキングが一般的にどのように発生しますか?
   • テキストの生成を拒否する
   • 数値のみを出力する
   • すべてをラテン語に翻訳すると、
   • お調子者で、ユーザーが聞きたいことを伝える
5. RLHF ポリシーが行き過ぎて報酬モデルを悪用するのを防ぐのに役立つテクニックはどれですか?
   • 基本モデルに近いポリシーを維持する KL ペナルティ
   • バッチサイズのみを増やす
   • 人間によるフィードバックをすべて削除する
   • オプティマイザを無効にする
6. モデルの機能が向上するにつれて、報酬ハッキングが安全上の懸念としてより大きくなるのはなぜですか?
   • より大きなモデルはまったくトレーニングできません
   • より有能なオプティマイザは、検出が難しい、より微妙な抜け穴を見つけます。
   • 能力はハッキングに影響を与えない
   • 大規模なモデルは報酬を完全に無視します
7. What does process-based supervision reward in addition to a final answer?
   • Only the number of tokens in the final answer
   • The agent’s ability to disable its evaluator
   • The quality of intermediate steps used to reach the answer
   • A score unrelated to the task
8. Why can a reward-model ensemble help detect reward hacking?
   • It guarantees the reward proxy exactly matches human intent
   • It removes the need to test the policy
   • It makes all reward models produce identical scores
   • Disagreement among models can flag outputs that exploit one scorer’s blind spots