引導式測驗 · 中等 等級
流程獎勵模型測驗
測試流程獎勵模型的步驟級評分、手動和自動標籤、解決方案重新排序、樹搜尋和故障定位。
問題 1 的 8
過程獎勵模型與結果獎勵模型的主要差異是什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 過程獎勵模型與結果獎勵模型的主要差異是什麼?
- 它對每個中間推理步驟進行評分,而不僅僅是最終答案
- 它在推理時運行得更快
- 它不需要訓練數據
- 它仅适用于图像输入
- 哪個著名的人類步驟層級數學標籤資料集與 PRM 研究相關?
- 影像網
- PRM800K
- 小隊
- 維基文本
- 為什麼只注重結果的獎勵訊號會產生誤導?
- 最終的答案永遠不會正確
- 結果模型無法讀取文本
- 正確的最終答案可能來自有缺陷的推理,或者錯誤的答案來自大部分正確的推理
- 它總是過度適合語法
- 將每步分數轉換為單鏈分數的常見方法是:
- 為每一步添加一個隨機數
- 忽略除第一步之外的所有步驟
- 仅使用令牌计数
- 跨链取最小步概率
- Math-Shepherd 方法使用什麼來自動標記步驟?
- 蒙特卡羅推出估計一步導致正確答案的頻率
- 每一步均由專家人工審核
- 將步驟翻譯成另一種語言
- 计算标点符号
- 針對 PRM 訓練模式時,哪些風險特別相關?
- 模型忘記如何閱讀
- 獎勵黑客行為,其中步驟在 PRM 看來不錯,但實際上並不正確
- PRM 不消耗计算
- 步驟變得無法生成
- How can a process reward model guide a tree search over reasoning?
- Expand every branch equally without scoring
- Choose branches by their final token length
- Prioritize expanding partial solutions whose intermediate steps receive stronger scores
- Replace all branches with one randomly selected answer
- What does the PRM800K dataset contain?
- Only final answer labels for image captions
- Audio recordings of spoken explanations
- A corpus of code commits with no reasoning labels
- Human labels for intermediate steps in mathematical reasoning solutions