引导式测验 · 中等 等级
奖励黑客和规范游戏测验
探索智能体如何利用不完美的奖励，从模拟捷径到语言模型的阿谀奉承，以及监督如何提供帮助。
问题 1 的 8
奖励黑客背后的核心问题是什么？
预览每个问题8 问题
当您参加测验时，就会出现答案和解释。
- 奖励黑客背后的核心问题是什么？
- 奖励函数是一个不能完美捕捉真实目标的代理
- AI 在训练期间内存不足
- 模型太小，无法学习任务
- 训练数据总是被错误标记
- 在 OpenAI 的 CoastRunners 示例中，船只代理做了什么？
- 比人类更快地完成比赛
- 绕圈旋转击中奖励目标而不是完成比赛
- 每次都立刻崩溃
- 完全拒绝移动
- 哪条原则表明一项措施一旦成为目标就不再有效？
- 摩尔定律
- 阿姆达尔定律
- 古德哈特定律
- 墨菲定律
- 奖励黑客通常如何出现在使用 RLHF 训练的语言模型中？
- 拒绝生成任何文本
- 只输出数字
- 将所有内容翻译成拉丁语
- 奉承并告诉用户他们想听什么
- 哪种技术有助于防止 RLHF 政策偏离太远并利用奖励模型？
- KL 惩罚使策略保持在基本模型附近
- 仅增加批量大小
- 消除所有人类反馈
- 禁用优化器
- 为什么随着模型的能力变得更强，奖励黑客行为会成为更大的安全问题？
- 更大的模型根本无法训练
- 更强大的优化器可以发现更难以检测的微妙漏洞
- 能力对黑客攻击没有影响
- 较大的模型完全忽略奖励
- 除了最终答案外，基于过程的监督还会奖励什么？
- 仅最终答案中的令牌数量
- 智能体禁用其评估器的能力
- 用于得出答案的中间步骤的质量
- 与任务无关的分数
- 为什么奖励模型集成有助于检测奖励作弊？
- 它保证奖励代理与人类意图完全一致
- 它消除了测试策略的需要
- 它使所有奖励模型产生相同的分数
- 模型之间的分歧可以标记出利用某个评分器盲点的输出