引导式测验 · 硬 等级

团体相关政策优化测验

应用 GRPO 群体奖励标准化、批评者去除和参考策略正则化，包括一个提示中相对优势的含义。

相关引导路径集团相关政策优化
问题 1 的 8

Which separately learned estimator does the original GRPO approach avoid training?

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. Which separately learned estimator does the original GRPO approach avoid training?
    • The policy that generates completions
    • A value or critic model
    • Every possible reward function
    • The reference policy’s vocabulary
  2. GRPO 如何计算给定完成的优势？
    • 通过查询每个标记处的学习值头
    • 通过使用没有标准化的原始奖励
    • 通过将其与不同提示的完成情况进行比较
    • 通过根据其兄弟完成组的平均值和标准差标准化其奖励
  3. 哪些车型让 GRPO 广为人知？
    • DeepSeek 的 DeepSeekMath 和 DeepSeek-R1 推理模型
    • OpenAI 的 GPT-2 系列
    • Google 的原始 BERT
    • Meta 的 Llama 2 基础模型
  4. KL 散度项在 GRPO 中起什么作用？
    • 它生成完成组
    • 它取代了奖励模式
    • 它可以防止训练后的策略偏离冻结的参考模型太远
    • 它计算每个代币的价值估计
  5. 为什么 GRPO 对于训练数学或代码推理模型特别有吸引力？
    • 它根本不需要奖励信号
    • 它仅适用于人类偏好标签
    • 它不能使用采样完成
    • 它自然地与可验证的、基于规则的奖励（例如，答案是否匹配或测试是否通过）一起工作，这些奖励是在一组采样解决方案中评分的
  6. 后续工作（如 GRPO 博士）试图在普通 GRPO 中纠正的一种已知偏见是什么？
    • 完全忽视奖励的倾向
    • 奖励标准化方式引入的长度和难度偏差
    • 无法对多个完成进行采样
    • 需要庞大的评论家网络
  7. Three GRPO completions for one prompt receive rewards 2, 4, and 6. Which completion has zero centered advantage?
    • The completion rewarded 2
    • The completion rewarded 6
    • The completion rewarded 4
    • All completions because rewards differ
  8. Why compare GRPO reward statistics among completions of the same prompt?
    • They provide a relative baseline for alternative answers to that prompt
    • They require unrelated prompts to have equal difficulty
    • They replace checking whether an answer is correct
    • They make the highest reward identical across all tasks