ガイド連動クイズ · ハード レベル

グループ相対ポリシー最適化クイズ

1 つのプロンプト内での相対的な利点の意味を含め、GRPO グループ報酬の正規化、批判者の削除、および参照ポリシーの正規化を適用します。

関連するガイドパスグループ相対ポリシーの最適化
質問 1 の 8

Which separately learned estimator does the original GRPO approach avoid training?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. Which separately learned estimator does the original GRPO approach avoid training?
    • The policy that generates completions
    • A value or critic model
    • Every possible reward function
    • The reference policy’s vocabulary
  2. GRPO は特定の完了に対する利点をどのように計算しますか?
    • 各トークンで学習された値ヘッドをクエリすることによって
    • 正規化を行わずに生の報酬を使用することにより
    • 別のプロンプトからの完了と比較することによって
    • 兄弟の完了グループの平均と標準偏差に対して報酬を標準化することによって
  3. GRPO を有名にしたのはどのモデルですか?
    • DeepSeek の DeepSeekMath および DeepSeek-R1 推論モデル
    • OpenAI の GPT-2 シリーズ
    • Google のオリジナル BERT
    • Meta の Llama 2 ベース モデル
  4. KL ダイバージェンス項は GRPO においてどのような役割を果たしますか?
    • 補完のグループを生成します
    • 報酬モデルを置き換えます
    • トレーニング済みのポリシーが凍結された参照モデルから大きく逸脱するのを防ぎます。
    • トークンごとの価値の推定値を計算します
  5. GRPO が数学やコードで推論モデルをトレーニングするのに特に魅力的なのはなぜですか?
    • 報酬信号はまったく必要ありません
    • 人間の好みのラベルでのみ機能します
    • サンプルされた補完は使用できません
    • サンプルされたソリューションのグループ全体でスコア化された、検証可能なルールベースの報酬 (例: 答えが一致したか、テストに合格したか) を使用して自然に機能します。
  6. バニラ GRPO でフォローアップ作業 (GRPO 博士など) が修正しようとする既知のバイアスの 1 つは何ですか?
    • 報酬を完全に無視する傾向
    • 報酬の正規化方法によってもたらされる長さと難易度のバイアス
    • 複数の完了をサンプリングできない
    • 巨大な批評家ネットワークの要件
  7. Three GRPO completions for one prompt receive rewards 2, 4, and 6. Which completion has zero centered advantage?
    • The completion rewarded 2
    • The completion rewarded 6
    • The completion rewarded 4
    • All completions because rewards differ
  8. Why compare GRPO reward statistics among completions of the same prompt?
    • They provide a relative baseline for alternative answers to that prompt
    • They require unrelated prompts to have equal difficulty
    • They replace checking whether an answer is correct
    • They make the highest reward identical across all tasks