プロセス報酬モデルのクイズ

クイズに答えると、答えと解説が表示されます。

1. プロセス報酬モデルと結果報酬モデルの主な違いは何ですか?
   • 最終的な答えだけでなく、中間の推論ステップごとにスコアを付けます。
   • 推論時の実行速度が速くなります
   • トレーニングデータは必要ありません
   • 画像入力でのみ動作します
2. PRM 研究に関連する、人間のステップレベルの数学ラベルのよく知られたデータセットはどれですか?
   • イメージネット
   • PRM800K
   • 分隊
   • ウィキテキスト
3. 結果のみの報酬シグナルが誤解を招くのはなぜでしょうか?
   • 最終的な答えは決して正解ではありません
   • 結果モデルはテキストを読み取ることができません
   • 最終的な正しい答えは、推論の欠陥から生じることもあれば、ほぼ正しい推論から誤った答えが得られることもあります
   • いつも文法に過剰適合してしまう
4. ステップごとのスコアを単一のチェーン スコアに変換する一般的な方法は次のとおりです。
   • 各ステップに乱数を追加します
   • 最初のステップ以外はすべて無視します
   • トークン数のみを使用する
   • チェーン全体で最小ステップ確率を取得します
5. Math-Shepherd アプローチではステップに自動的にラベルを付けるために何を使用しますか?
   • ステップが正解に至る頻度を推定するモンテカルロ ロールアウト
   • すべてのステップを専門家が手動でレビューする
   • ステップを別の言語に翻訳する
   • 句読点を数える
6. PRM に対してモデルをトレーニングする場合、どのリスクが特に関係しますか?
   • モデルは読み方を忘れてしまう
   • 報酬ハッキング。真に正しい手順ではなくても、PRM にとっては良いように見える手順
   • PRM はコンピューティングを消費しません
   • ステップが生成できなくなる
7. How can a process reward model guide a tree search over reasoning?
   • Expand every branch equally without scoring
   • Choose branches by their final token length
   • Prioritize expanding partial solutions whose intermediate steps receive stronger scores
   • Replace all branches with one randomly selected answer
8. What does the PRM800K dataset contain?
   • Only final answer labels for image captions
   • Audio recordings of spoken explanations
   • A corpus of code commits with no reasoning labels
   • Human labels for intermediate steps in mathematical reasoning solutions