引导式测验 · 中等 等级

近端策略优化测验

查看 PPO 裁剪、政策比率、奖励来源、KL 处罚、批评、优势和语言模型 RLHF 限制。检查假设和范围。

相关引导路径近端策略优化
问题 1 的 8

PPO 的“裁剪”主要解决什么问题？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. PPO 的“裁剪”主要解决什么问题？
    • 政策更新过大，导致训练不稳定
    • 数据加载缓慢
    • 词汇量限制
    • 推理期间的内存使用情况
  2. 在具有 PPO 的语言模型 RLHF 中，奖励信号通常来自哪里？
    • 每个代币的直接人工评分
    • 经过训练的奖励模型
    • 优化器的学习率
    • 词汇量的大小
  3. KL 散度惩罚在基于 PPO 的 RLHF 中起什么作用？
    • 加快代币生成速度
    • 提高奖励模型的准确性
    • 防止微调模型偏离参考模型太远
    • 消除对价值网络的需求
  4. 价值（批评）网络在 PPO 中的作用是什么？
    • 生成最终的文本输出
    • 存储训练数据
    • 完全取代奖励模式
    • 估计预期回报，以便计算优势
  5. PPO 的“优势”代表什么？
    • 行动比预期基线好多少
    • 模型的总参数数
    • 剪裁范围
    • KL惩罚系数
  6. What distinguishes GRPO from PPO in the DeepSeekMath paper?
    • It removes all policy sampling and optimizes only supervised labels
    • It estimates relative advantages from groups of sampled responses without a separate value critic
    • It uses a trained reward model as a value network
    • It guarantees zero policy drift after one update
  7. What probability ratio does PPO clip in its surrogate objective?
    • The reward divided by the number of prompts
    • The value estimate divided by the KL coefficient
    • The new policy’s action probability divided by the old policy’s action probability
    • The sequence length divided by batch size
  8. Why is PPO called an on-policy method in its standard form?
    • It trains only on a static image dataset
    • It never samples actions
    • It updates only a reward model
    • It collects trajectories using the current policy being optimized