ガイド連動クイズ · ハード レベル

RLHF クイズにおけるグループ化された報酬の正規化

GRPO がプロンプト グループ内のサンプル応答を比較し、批判者を削除し、ポリシー更新に PPO スタイルの目標を使用する方法を学びます。

関連するガイドパスRlhf でのグループ化された報酬の正規化
質問 1 の 8

グループ化された報酬の正規化では、各応答の報酬は何と比較されますか?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. グループ化された報酬の正規化では、各応答の報酬は何と比較されますか?
    • 自身のプロンプトのグループの平均と標準偏差
    • 固定グローバル定数
    • 前のエポックからの報酬
    • モデルのパラメータ数
  2. グループ化された報酬の正規化に最も関連しているアルゴリズムはどれですか?
    • 確率的勾配降下法
    • GRPO (グループ相対ポリシー最適化)
    • K 平均法クラスタリング
    • バックプロパゲーション
  3. GRPO が特に排除する標準 PPO のコンポーネントは何ですか?
    • 報酬モデル
    • ニューラルネットワーク全体
    • 個別の価値観ネットワーク (批評家)
    • トレーニングデータ
  4. 報酬がグループの平均を下回る応答はどうなりますか?
    • プラスのアドバンテージを受けて強化される
    • データセットから削除されます
    • その報酬は2倍になります
    • マイナスのアドバンテージを受けて意気消沈する
  5. What does within-prompt reward normalization provide to a GRPO update?
    • A relative, scaled advantage for each response compared with others for the same prompt
    • A guarantee that all prompt difficulty differences disappear
    • A higher learning rate
    • A way to make every response receive the same reward
  6. What happens when every response in a prompt group receives the same reward?
    • Every response gets a positive advantage
    • Centering gives no relative advantage; zero spread also requires numerical handling
    • The group mean doubles the reward
    • The model stops needing a policy objective
  7. Which PPO-style update element does GRPO retain?
    • A separately learned value network
    • K-means clustering over tokens
    • A clipped policy objective
    • A language-model tokenizer
  8. What can a KL penalty relative to a reference policy help constrain in GRPO?
    • The number of prompts in each group
    • The length of the tokenizer vocabulary
    • The resolution of generated images
    • How far the updated policy drifts from the reference policy