概述
这种配对使得强化学习比单独使用任何一种方法都更加稳定和样本效率更高。
深入探讨
强化学习有两种广泛的风格：基于政策的方法，直接学习要做什么，以及基于价值的方法，了解状态有多好。演员评论家将它们融合在一起。 actor是输出动作概率的策略；批评家是一个估计预期回报的价值函数。每一步之后，批评者都会计算一个时间差异误差，表明结果是比预期更好还是更差。行动者利用这个错误将其政策推向超出预期的行动，远离那些表现不佳的行动。因为批评者提供了低方差基线，所以参与者的梯度估计比 REINFORCE 等纯策略梯度方法的噪声要小得多，同时仍然处理连续的动作空间，而 Q-Learning 等纯值方法会觉得很尴尬。
现实世界的实施
使用连续关节扭矩训练机械臂和运动控制器（例如，使用 PPO 或 SAC）
通过 RLHF 调整大型语言模型，其中 PPO（一种行动者批评家方法）针对奖励模型优化响应
精通复杂的策略游戏，例如《星际争霸 II》和《Dota 2》
数据中心冷却和能源管理控制器可学习平滑的连续调整
演员批评家方法的未来
Actor-Critic 是大多数现代深度强化学习的支柱。 A3C、A2C、PPO、SAC 和 DDPG 等算法都建立在它的基础上，并添加了一些技巧，例如用于稳定更新的剪切目标、用于探索的熵奖励以及用于吞吐量的并行参与者。预计机器人技术、大型游戏代理和强化学习将根据人类反馈来调整语言模型，其中稳定性和样本效率至关重要。
付诸实践
为什么这很重要
- 成本与预算. 多年来，架构决策决定着性能和运营成本。
- 更清晰的判决. 技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
- 质量控制. 更好的工程选择可以减少生产中的可靠性事故。
留意
- 优化一项基准测试可以隐藏更广泛的系统弱点。
- 基础设施和维护成本常常被低估。
- 随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
后续步骤
- 在实施之前定义延迟、质量和成本目标。
- 在实际负载和数据条件下进行基准测试。
- 仪器监控错误、漂移和用户影响。
- 在扩展之前准备回滚和事件响应路径。
不断探索
常见问题
什么是演员批评家方法？
Actor-Critic 方法结合了两个学习器：一个选择动作的“actor”和一个判断这些动作有多好的“critic”。这种配对使得强化学习比单独使用任何一种方法都更加稳定和样本效率更高。
在 Actor-Critic 方法中，“批评家”的角色是什么？
批评者学习一个价值函数并产生一个评估信号（如 TD 误差），告诉参与者其行为是否比预期更好或更差。
“优势”A(s,a) = Q(s,a) - V(s) 衡量什么？
其优点是隔离特定操作优于该状态的典型结果的程度，从而提供比原始回报更清晰的信号。
与 REINFORCE 等纯策略梯度方法相比，为什么添加批评者可以减少方差？
减去评论家的价值估计作为基线可以降低梯度估计的方差，而不会增加偏差，从而加快学习速度。
Actor-Critic 方法具有哪些功能，而像 Q-Learning 这样的基于值的普通方法则难以处理？
因为参与者直接参数化策略，所以它可以输出连续的动作（例如，关节扭矩），而不需要无限多个动作的最大值。
参与者通常使用什么信号来更新其策略？
行动者按照批评者的优势/TD误差信号所建议的方向调整其政策，强化优于预期的行动。