引導式測驗 · 中等 等級
近端策略優化測驗
查看 PPO 裁剪、政策比率、獎勵來源、KL 處罰、批評、優勢和語言模型 RLHF 限制。檢查假設和範圍。
問題 1 的 8
PPO 的「裁切」主要解決什麼問題?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- PPO 的「裁切」主要解決什麼問題?
- 政策更新過大,導致訓練不穩定
- 數據加載緩慢
- 詞彙量限制
- 推理期間的記憶體使用情況
- 在具有 PPO 的語言模型 RLHF 中,獎勵訊號通常來自哪裡?
- 每個代幣的直接人工評分
- 經過訓練的獎勵模型
- 優化器的學習率
- 詞彙量的大小
- KL 散度懲罰在基於 PPO 的 RLHF 中起什麼作用?
- 加快代幣生成速度
- 提高獎勵模型的準確性
- 防止微調模型偏離參考模型太遠
- 消除對價值網絡的需求
- 價值(批評)網絡在 PPO 中的作用是什麼?
- 產生最終的文字輸出
- 儲存訓練數據
- 完全取代獎勵模式
- 估計預期回報,以便計算優勢
- PPO 的「優勢」代表什麼?
- 行動比預期基線好多少
- 模型的總參數數
- 剪裁範圍
- KL懲罰係數
- What distinguishes GRPO from PPO in the DeepSeekMath paper?
- It removes all policy sampling and optimizes only supervised labels
- It estimates relative advantages from groups of sampled responses without a separate value critic
- It uses a trained reward model as a value network
- It guarantees zero policy drift after one update
- What probability ratio does PPO clip in its surrogate objective?
- The reward divided by the number of prompts
- The value estimate divided by the KL coefficient
- The new policy’s action probability divided by the old policy’s action probability
- The sequence length divided by batch size
- Why is PPO called an on-policy method in its standard form?
- It trains only on a static image dataset
- It never samples actions
- It updates only a reward model
- It collects trajectories using the current policy being optimized