引導式測驗 · 中等 等級

近端策略優化測驗

查看 PPO 裁剪、政策比率、獎勵來源、KL 處罰、批評、優勢和語言模型 RLHF 限制。檢查假設和範圍。

相關引導路徑近端策略優化
問題 1 的 8

PPO 的「裁切」主要解決什麼問題?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. PPO 的「裁切」主要解決什麼問題?
    • 政策更新過大,導致訓練不穩定
    • 數據加載緩慢
    • 詞彙量限制
    • 推理期間的記憶體使用情況
  2. 在具有 PPO 的語言模型 RLHF 中,獎勵訊號通常來自哪裡?
    • 每個代幣的直接人工評分
    • 經過訓練的獎勵模型
    • 優化器的學習率
    • 詞彙量的大小
  3. KL 散度懲罰在基於 PPO 的 RLHF 中起什麼作用?
    • 加快代幣生成速度
    • 提高獎勵模型的準確性
    • 防止微調模型偏離參考模型太遠
    • 消除對價值網絡的需求
  4. 價值(批評)網絡在 PPO 中的作用是什麼?
    • 產生最終的文字輸出
    • 儲存訓練數據
    • 完全取代獎勵模式
    • 估計預期回報,以便計算優勢
  5. PPO 的「優勢」代表什麼?
    • 行動比預期基線好多少
    • 模型的總參數數
    • 剪裁範圍
    • KL懲罰係數
  6. What distinguishes GRPO from PPO in the DeepSeekMath paper?
    • It removes all policy sampling and optimizes only supervised labels
    • It estimates relative advantages from groups of sampled responses without a separate value critic
    • It uses a trained reward model as a value network
    • It guarantees zero policy drift after one update
  7. What probability ratio does PPO clip in its surrogate objective?
    • The reward divided by the number of prompts
    • The value estimate divided by the KL coefficient
    • The new policy’s action probability divided by the old policy’s action probability
    • The sequence length divided by batch size
  8. Why is PPO called an on-policy method in its standard form?
    • It trains only on a static image dataset
    • It never samples actions
    • It updates only a reward model
    • It collects trajectories using the current policy being optimized