引導式測驗 · 中等 等級

流程獎勵模型測驗

測試流程獎勵模型的步驟級評分、手動和自動標籤、解決方案重新排序、樹搜尋和故障定位。

相關引導路徑流程獎勵模型
問題 1 的 8

過程獎勵模型與結果獎勵模型的主要差異是什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 過程獎勵模型與結果獎勵模型的主要差異是什麼?
    • 它對每個中間推理步驟進行評分,而不僅僅是最終答案
    • 它在推理時運行得更快
    • 它不需要訓練數據
    • 它仅适用于图像输入
  2. 哪個著名的人類步驟層級數學標籤資料集與 PRM 研究相關?
    • 影像網
    • PRM800K
    • 小隊
    • 維基文本
  3. 為什麼只注重結果的獎勵訊號會產生誤導?
    • 最終的答案永遠不會正確
    • 結果模型無法讀取文本
    • 正確的最終答案可能來自有缺陷的推理,或者錯誤的答案來自大部分正確的推理
    • 它總是過度適合語法
  4. 將每步分數轉換為單鏈分數的常見方法是:
    • 為每一步添加一個隨機數
    • 忽略除第一步之外的所有步驟
    • 仅使用令牌计数
    • 跨链取最小步概率
  5. Math-Shepherd 方法使用什麼來自動標記步驟?
    • 蒙特卡羅推出估計一步導致正確答案的頻率
    • 每一步均由專家人工審核
    • 將步驟翻譯成另一種語言
    • 计算标点符号
  6. 針對 PRM 訓練模式時,哪些風險特別相關?
    • 模型忘記如何閱讀
    • 獎勵黑客行為,其中步驟在 PRM 看來不錯,但實際上並不正確
    • PRM 不消耗计算
    • 步驟變得無法生成
  7. How can a process reward model guide a tree search over reasoning?
    • Expand every branch equally without scoring
    • Choose branches by their final token length
    • Prioritize expanding partial solutions whose intermediate steps receive stronger scores
    • Replace all branches with one randomly selected answer
  8. What does the PRM800K dataset contain?
    • Only final answer labels for image captions
    • Audio recordings of spoken explanations
    • A corpus of code commits with no reasoning labels
    • Human labels for intermediate steps in mathematical reasoning solutions