引导式测验 · 中等 等级

数学推理测验过程监督

使用 PRM800K 标签、候选人选择、Math-Shepherd 监督和步骤分数聚合检查流程和结果反馈。

相关引导路径数学推理过程监督
问题 1 的 8

与结果监督相比，过程监督在何处提供反馈？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. 与结果监督相比，过程监督在何处提供反馈？
    • Only at the physical GPU temperature
    • At intermediate reasoning steps rather than only the final result
    • Only at the document filename
    • Only at an increased vocabulary size
  2. 为什么只注重结果的监督会对数学问题产生误导？
    • 计算速度太慢
    • 它无法处理小数
    • 每个问题都需要人工评分
    • 模型可以通过有缺陷的步骤得出正确的答案，而这些步骤碰巧会被抵消
  3. OpenAI 与“让我们逐步验证”一起发布了什么？
    • PRM800K，约 800,000 个步骤级标签的数据集
    • 全新 GPU 架构
    • GSM8K测试仪
    • 国际象棋引擎
  4. 在使用过程奖励模型进行最佳 N 选择的数学任务中，验证器的作用是什么？
    • Guarantees that a correct candidate was generated
    • Changes every tokenizer token into a proof axiom
    • Scores generated candidate solutions under the chosen aggregation rule
    • Replaces the original problem with a translation
  5. 什么方法可以减少对昂贵的人工步骤标签的需求？
    • 完全禁用奖励模型
    • 自动估计每个步骤值的蒙特卡罗卷展栏（例如，Math-Shepherd）
    • 仅使用最终答案
    • 更多语言培训
  6. What can low step-level verifier scores usefully indicate to someone reviewing a solution?
    • Steps that merit closer inspection
    • An infallible location of the first actual error
    • A mathematical proof that all other steps are correct
    • The exact temperature used to sample every token
  7. For step scores 0.9 and 0.8, what is the solution score under a product aggregation rule?
    • 0.8
    • 0.85
    • 1.7
    • 0.72
  8. Which data-selection strategy did Let’s Verify Step by Step study to improve labeling efficiency?
    • Choosing examples only by alphabetical filename order
    • Removing every incorrect-answer candidate from the labeling pool
    • Active learning that selected informative candidate solutions
    • Using an unlabeled test answer as the final human label