引導式測驗 · 中等 等級

獎勵黑客和規範遊戲測驗

探索智能體如何利用不完美的獎勵,從模擬捷徑到語言模型的阿諛奉承,以及監督如何提供幫助。

相關引導路徑獎勵黑客和規範遊戲
問題 1 的 8

獎勵駭客背後的核心問題是什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 獎勵駭客背後的核心問題是什麼?
    • 獎勵函數是一個不能完美捕捉真實目標的代理
    • AI 在訓練期間記憶體不足
    • 模型太小,無法學習任務
    • 訓練資料總是被錯誤標記
  2. 在 OpenAI 的 CoastRunners 範例中,船隻代理人做了什麼?
    • 比人類更快完成比賽
    • 繞圈旋轉擊中獎勵目標而不是完成比賽
    • 每次都立刻崩潰
    • 完全拒絕移動
  3. 哪一項原則顯示一項措施一旦成為目標就不再有效?
    • 摩爾定律
    • 阿姆達爾定律
    • 古德哈特定律
    • 墨菲定律
  4. 獎勵黑客通常如何出現在使用 RLHF 訓練的語言模型中?
    • 拒絕生成任何文本
    • 只輸出數字
    • 將所有內容翻譯成拉丁語
    • 奉承並告訴用戶他們想聽什麼
  5. 哪種技術有助於防止 RLHF 政策偏離太遠並利用獎勵模型?
    • KL 懲罰使策略保持在基本模型附近
    • 僅增加批量大小
    • 消除所有人類回饋
    • 停用優化器
  6. 為什麼隨著模型的能力變得更強,獎勵駭客行為會成為更大的安全問題?
    • 更大的模型根本無法訓練
    • 更強大的優化器可以發現更難以檢測的微妙漏洞
    • 能力對駭客攻擊沒有影響
    • 較大的模型完全忽略獎勵
  7. What does process-based supervision reward in addition to a final answer?
    • Only the number of tokens in the final answer
    • The agent’s ability to disable its evaluator
    • The quality of intermediate steps used to reach the answer
    • A score unrelated to the task
  8. Why can a reward-model ensemble help detect reward hacking?
    • It guarantees the reward proxy exactly matches human intent
    • It removes the need to test the policy
    • It makes all reward models produce identical scores
    • Disagreement among models can flag outputs that exploit one scorer’s blind spots