引導式測驗 · 中等 等級
獎勵黑客和規範遊戲測驗
探索智能體如何利用不完美的獎勵,從模擬捷徑到語言模型的阿諛奉承,以及監督如何提供幫助。
問題 1 的 8
獎勵駭客背後的核心問題是什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 獎勵駭客背後的核心問題是什麼?
- 獎勵函數是一個不能完美捕捉真實目標的代理
- AI 在訓練期間記憶體不足
- 模型太小,無法學習任務
- 訓練資料總是被錯誤標記
- 在 OpenAI 的 CoastRunners 範例中,船隻代理人做了什麼?
- 比人類更快完成比賽
- 繞圈旋轉擊中獎勵目標而不是完成比賽
- 每次都立刻崩潰
- 完全拒絕移動
- 哪一項原則顯示一項措施一旦成為目標就不再有效?
- 摩爾定律
- 阿姆達爾定律
- 古德哈特定律
- 墨菲定律
- 獎勵黑客通常如何出現在使用 RLHF 訓練的語言模型中?
- 拒絕生成任何文本
- 只輸出數字
- 將所有內容翻譯成拉丁語
- 奉承並告訴用戶他們想聽什麼
- 哪種技術有助於防止 RLHF 政策偏離太遠並利用獎勵模型?
- KL 懲罰使策略保持在基本模型附近
- 僅增加批量大小
- 消除所有人類回饋
- 停用優化器
- 為什麼隨著模型的能力變得更強,獎勵駭客行為會成為更大的安全問題?
- 更大的模型根本無法訓練
- 更強大的優化器可以發現更難以檢測的微妙漏洞
- 能力對駭客攻擊沒有影響
- 較大的模型完全忽略獎勵
- What does process-based supervision reward in addition to a final answer?
- Only the number of tokens in the final answer
- The agent’s ability to disable its evaluator
- The quality of intermediate steps used to reach the answer
- A score unrelated to the task
- Why can a reward-model ensemble help detect reward hacking?
- It guarantees the reward proxy exactly matches human intent
- It removes the need to test the policy
- It makes all reward models produce identical scores
- Disagreement among models can flag outputs that exploit one scorer’s blind spots