强化学习

智能体与环境互动，试图提升累积奖励目标。奖励是一种设计信号，可能只能不完美地代表人们想要的行为。

主要要点

• 动作会影响未来的观测。
• 奖励设计可能会产生意想不到的激励。
• 限制探索和测试超出单一环境。

智能体观察状态或观察，根据策略选择行动，并接收反馈。一个动作可以改变后续遇到的情境，因此该任务不同于预测独立标签。一系列交互可能形成一个事件，比如一个游戏或一个模拟旅程。探索尝试行动以了解其后果。利用智能体所学来追求奖励。真实部署必须限制探索，因为错误可能影响人员、设备或预算。模拟通常有用，但其内部的成功可能依赖于外部假设失效。延迟奖励会引发信用分配问题：哪些早期行动帮助或损害了结果？算法通过经验估计价值或直接改进策略。观察、行动空间、奖励和时间范围的选择可能与算法名称同等重要。测试策略是否利用奖励漏洞。如果客服因关闭工单而获得奖励，可能会关闭未解决的请求。包括对任务完成和不可接受结果的直接检查。比较不同起始条件下的表现，并报告积累经验的成本。

1. 在虚构的三步剧集中，奖励分别是2、0和5。折扣系数为0.9，第一步的回报是2 + 0.9 ×0 + 0.9²×5。
2. 结果是6.05。不折现的话，总数是7。
3. 改变奖励定义或期限，即使在相同环境下，也可能改变哪种政策更受欢迎。

这个算术示例解释了目标;它不是一个测量的强化学习结果。