引導式測驗 · 中等 等級

數學推理測驗過程監督

使用 PRM800K 標籤、候選人選擇、Math-Shepherd 監督和步驟分數聚合檢查流程和結果回饋。

相關引導路徑數學推理過程監督
問題 1 的 8

與結果監督相比,過程監督在何處提供回饋?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 與結果監督相比,過程監督在何處提供回饋?
    • Only at the physical GPU temperature
    • At intermediate reasoning steps rather than only the final result
    • Only at the document filename
    • Only at an increased vocabulary size
  2. 為什麼只注重結果的監督會對數學問題產生誤導?
    • 計算速度太慢
    • 它無法處理小數
    • 每個問題都需要人工評分
    • 模型可以透過有缺陷的步驟得出正確的答案,而這些步驟碰巧會被抵消
  3. OpenAI 與「讓我們逐步驗證」一起發布了什麼?
    • PRM800K,約 800,000 個步驟級標籤的資料集
    • 全新 GPU 架構
    • GSM8K測試儀
    • 國際象棋引擎
  4. 在使用過程獎勵模型的 Best-of-N 數學選擇中,驗證器做了什麼?
    • Guarantees that a correct candidate was generated
    • Changes every tokenizer token into a proof axiom
    • Scores generated candidate solutions under the chosen aggregation rule
    • Replaces the original problem with a translation
  5. 什麼方法可以減少對昂貴的人工步驟標籤的需求?
    • 完全禁用獎勵模型
    • 自動估計每個步驟值的蒙特卡羅卷展欄(例如,Math-Shepherd)
    • 僅使用最終答案
    • 更多語言培訓
  6. What can low step-level verifier scores usefully indicate to someone reviewing a solution?
    • Steps that merit closer inspection
    • An infallible location of the first actual error
    • A mathematical proof that all other steps are correct
    • The exact temperature used to sample every token
  7. For step scores 0.9 and 0.8, what is the solution score under a product aggregation rule?
    • 0.8
    • 0.85
    • 1.7
    • 0.72
  8. Which data-selection strategy did Let’s Verify Step by Step study to improve labeling efficiency?
    • Choosing examples only by alphabetical filename order
    • Removing every incorrect-answer candidate from the labeling pool
    • Active learning that selected informative candidate solutions
    • Using an unlabeled test answer as the final human label