引导式测验 · 中等 等级
奖励建模测验
测试奖励模型分数、偏好数据、成对排名损失、奖励黑客以及 RLHF 中的 N 最佳使用。检查假设和范围。
问题 1 的 8
对于给定的提示响应对，奖励模型的主要输出是什么？
预览每个问题8 问题
当您参加测验时，就会出现答案和解释。
- 对于给定的提示响应对，奖励模型的主要输出是什么？
- 单个标量分数
- 全文回复
- 词汇表的概率分布
- 首选代币列表
- What feedback format did the InstructGPT paper collect to train its reward model?
- A guaranteed correctness label for every possible answer
- Human rankings of several model responses, converted into pairwise preferences
- A single sentiment score for each training prompt
- Only binary safety labels with no response comparisons
- 标准奖励模型损失优化了什么？
- 每个响应的绝对奖励值
- 下一个token预测准确率
- 所选响应的得分高于被拒绝的响应的得分
- 回复的长度
- 什么是“奖励黑客”？
- 窃取竞争对手的奖励模式
- 一种加速训练的方法
- 加密奖励信号
- 该政策利用奖励模型中的缺陷在没有真正质量的情况下获得高分
- 奖励模型在架构上是如何从语言模型派生出来的？
- 通过用单个标量输出头替换令牌预测头
- 通过添加更多的注意力层
- 通过移除所有变压器层
- 通过加倍词汇量
- 在 N 次最佳采样的推理时间如何使用奖励模型？
- 并行训练 N 个奖励模型
- 生成多个响应并使用奖励模型选择得分最高的响应
- 选择 N 个最常见的标记
- 平均 N 个模型检查点
- Why might an RLHF study use an ensemble of reward models during training?
- To guarantee that reward hacking is impossible
- To replace the human preference data with exact correctness labels
- To estimate disagreement or uncertainty across learned preference scorers
- To ensure every candidate receives the same score
- Why should reward-model evaluations include held-out comparisons?
- To ensure training comparisons are never used
- To make every output identical
- To guarantee the reward is unbiased
- To test whether preferences generalize beyond the training comparisons