概述
智能体与环境互动，试图提升累积奖励目标。奖励是一种设计信号，可能只能不完美地代表人们想要的行为。
主要要点
- 动作会影响未来的观测。
- 奖励设计可能会产生意想不到的激励。
- 限制探索和测试超出单一环境。
深入探讨
智能体观察状态或观察，根据策略选择行动，并接收反馈。一个动作可以改变后续遇到的情境，因此该任务不同于预测独立标签。一系列交互可能形成一个事件，比如一个游戏或一个模拟旅程。探索尝试行动以了解其后果。利用智能体所学来追求奖励。真实部署必须限制探索，因为错误可能影响人员、设备或预算。模拟通常有用，但其内部的成功可能依赖于外部假设失效。延迟奖励会引发信用分配问题：哪些早期行动帮助或损害了结果？算法通过经验估计价值或直接改进策略。观察、行动空间、奖励和时间范围的选择可能与算法名称同等重要。测试策略是否利用奖励漏洞。如果客服因关闭工单而获得奖励，可能会关闭未解决的请求。包括对任务完成和不可接受结果的直接检查。比较不同起始条件下的表现，并报告积累经验的成本。
04工作示例
计算折现回报
在虚构的三步剧集中，奖励分别是2、0和5。折扣系数为0.9，第一步的回报是2 + 0.9 ×0 + 0.9²×5。
结果是6.05。不折现的话，总数是7。
改变奖励定义或期限，即使在相同环境下，也可能改变哪种政策更受欢迎。
它显示了什么
这个算术示例解释了目标;它不是一个测量的强化学习结果。
现实世界的实施
在模拟器中训练一个具有明确安全动作的策略。
当评估假设可辩护时，使用记录结果比较行动政策。
付诸实践
为什么这很重要
- 成本与预算. 多年来，架构决策决定着性能和运营成本。
- 更清晰的判决. 技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
- 质量控制. 更好的工程选择可以减少生产中的可靠性事故。
留意
- 优化一项基准测试可以隐藏更广泛的系统弱点。
- 基础设施和维护成本常常被低估。
- 随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
后续步骤
- 在实施之前定义延迟、质量和成本目标。
- 在实际负载和数据条件下进行基准测试。
- 仪器监控错误、漂移和用户影响。
- 在扩展之前准备回滚和事件响应路径。
资料来源与延伸阅读
- MIT Press; Richard S. Sutton and Andrew G. Barto强化学习：导论
不断探索
常见问题
奖励和人类认可是一样的吗？
不一定。奖励可以是数值测量、结果或反馈代理。必须评估它们与预期目标的联系。