近接ポリシー最適化クイズ

クイズに答えると、答えと解説が表示されます。

1. PPO の「クリッピング」は主にどのような問題に対処しますか?
   • トレーニングを不安定にする大規模すぎるポリシーの更新
   • データの読み込みが遅い
   • 語彙サイズの制限
   • 推論中のメモリ使用量
2. PPO を使用した言語モデル RLHF では、報酬シグナルは通常どこから来るのでしょうか?
   • すべてのトークンを人間が直接スコアリングする
   • 訓練された報酬モデル
   • オプティマイザーの学習率
   • 語彙のサイズ
3. KL ダイバージェンス ペナルティは PPO ベースの RLHF で何をしますか?
   • トークンの生成を高速化します
   • 報酬モデルの精度を向上させます
   • 微調整されたモデルが参照モデルから大きく外れないようにする
   • バリューネットワークの必要性をなくす
4. PPO における価値 (批評) ネットワークの役割は何ですか?
   • 最終的なテキスト出力を生成するには
   • トレーニングデータを保存するには
   • 報酬モデルを完全に置き換えるには
   • 利点を計算できるように期待収益を推定するため
5. PPO における「アドバンテージ」とは何を意味しますか?
   • アクションが予想されたベースラインよりどれだけ優れていたか
   • モデルの合計パラメータ数
   • クリッピング範囲
   • KL ペナルティ係数
6. What distinguishes GRPO from PPO in the DeepSeekMath paper?
   • It removes all policy sampling and optimizes only supervised labels
   • It estimates relative advantages from groups of sampled responses without a separate value critic
   • It uses a trained reward model as a value network
   • It guarantees zero policy drift after one update
7. What probability ratio does PPO clip in its surrogate objective?
   • The reward divided by the number of prompts
   • The value estimate divided by the KL coefficient
   • The new policy’s action probability divided by the old policy’s action probability
   • The sequence length divided by batch size
8. Why is PPO called an on-policy method in its standard form?
   • It trains only on a static image dataset
   • It never samples actions
   • It updates only a reward model
   • It collects trajectories using the current policy being optimized