引导式测验 · 中等 等级

演员批评家方法测验

检查参与者和批评者的角色、优势和 TD 信号、方差减少、连续动作和 PPO 示例。在现代实践中。

相关引导路径演员批评家方法
问题 1 的 8

在 Actor-Critic 方法中，“批评家”的角色是什么？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. 在 Actor-Critic 方法中，“批评家”的角色是什么？
    • 估计状态（或动作）的价值并评估参与者的选择
    • 选择要执行的操作
    • 存储重放缓冲区
    • 随机探索环境
  2. “优势”A(s,a) = Q(s,a) - V(s) 衡量什么？
    • 总剧集奖励
    • 一项行动比州的平均值好多少
    • 学习率
    • 可用的操作数量
  3. 与 REINFORCE 等纯策略梯度方法相比，为什么添加批评者可以减少方差？
    • 它从等式中删除了奖励
    • 它使政策具有确定性
    • 评论家提供了基线，因此更新使用噪音较小的优势信号
    • 它增加了折扣系数
  4. Actor-Critic 方法具有哪些功能，而像 Q-Learning 这样的基于值的普通方法则难以处理？
    • 离散行动
    • 使用奖励
    • 打折未来
    • 连续行动空间
  5. 以下哪项是广泛用于语言模型上的 RLHF 的基于 Actor-Critic 的算法？
    • PPO（近端策略优化）
    • K-均值
    • 线性回归
    • Q-学习
  6. 参与者通常使用什么信号来更新其策略？
    • 原始像素输入
    • 批评者提供的优势或 TD 误差
    • 重播缓冲区大小
    • 固定随机数
  7. An action has a positive advantage estimate. How does a policy-gradient actor typically use that signal?
    • Decrease its probability in every state
    • Set the critic’s value estimate to zero
    • Increase the probability of choosing that action in the state
    • Replace the policy with a Q-table
  8. An action’s estimated advantage is negative. What direction should the actor update favor?
    • Increase it because the critic was surprised
    • Delete the state from the environment
    • Raise the reward discount factor automatically
    • Reduce the likelihood of that action relative to the policy baseline