引导式测验 · 硬 等级
根据人类反馈进行强化学习测验
练习 RLHF 偏好数据、奖励代理和参考正则化，包括为什么拟合判断不能保证事实准确性。
问题 1 的 8
RLHF 对于语言模型的主要目的是什么？
预览每个问题8 问题
当您参加测验时，就会出现答案和解释。
- RLHF 对于语言模型的主要目的是什么？
- 使其输出符合人类偏好，以提供帮助和安全
- 增加模型的参数数量
- 压缩模型以加快推理速度
- 将模型翻译成其他语言
- RLHF 中的奖励模型实际上是用来做什么的？
- 生成对用户的最终响应
- 将提示转换为奖励货币
- 分配一个标量分数来反映人们对给定响应的偏好程度
- 决定模型的学习率
- 在 RLHF 目标中，针对参考策略的 KL 散庥惩罚旨在正则化什么？
- 具有完整正确惩证的每一个事实性错误
- 优化后的策略与参考策略的偏离程度
- 分词器词汇的拼写
- 自动人工注访人数
- 通常如何为奖励模型收集偏好数据？
- 人类从头开始写出全新的答案
- 模型评估自己的置信度
- 自动分配随机标签
- 人类比较两个模型对同一提示的反应并选择更好的一个
- 与经典的 RLHF 管道相比，DPO（直接偏好优化）有何优势？
- 它根本不需要任何数据
- 它保证模型永远不会出错
- 它直接从偏好对优化策略，跳过单独的奖励模型和 PPO 循环
- 它消除了预训练的需要
- 在 RLAIF 和宪法人工智能中，大部分反馈来自哪里？
- 通过人工智能模型生成或批评响应，减少人工标签
- 仅来自付费人工注释者
- 来自随机数生成器
- 直接来自模型的预训练语料库
- 一个 RLHF 回复获得了较高的学习奖励，但其中包含了虚假陈述。这说明了什么？
- 高奖励证明该陈述是真实的
- 该回复必须是在没有 tokens 的情况下生成的
- 参考模型的词汇被布了，隔空消失
- 基于偏好的奖励是一个代理，并且可能会出错
- 为什么 RLHF 团队应该检查收集了谁的偏好比较？
- 注访者身份决定了 GPU 时钟频率
- 判断与任务分布决定了模型因何获得奖励
- 每个人口群都拥有相同的响应偏好
- 偏好数据仅影响文件压缩