概述
这很重要，因为恢复的奖励比直接复制的动作更好地推广到新的情况。
深入探讨
逆强化学习提出的问题是：专家必须追求什么目标才能像他们那样行事？根据演示，IRL 恢复了一个奖励函数，在该函数下该行为看起来是最优的（或接近最优的），然后使用标准 RL 来导出策略。动机是泛化——学习到的奖励捕捉了行为背后的原因，因此代理可以在演示从未涵盖的状态下明智地采取行动，这与仅模仿行为的行为克隆不同。这个问题从根本上来说是不适定的：许多奖励函数都解释相同的行为，包括微不足道的行为。解决这种模糊性的关键方法包括最大利润方法和最大熵 IRL，前者倾向于奖励使专家明显最好的奖励，后者选择与数据一致的最少承诺奖励分布。
现实世界的实施
自动驾驶汽车从人类驾驶员那里推断驾驶偏好（平稳性、安全裕度）
机器人从人类演示中学习任务目标，以推广到新的布局
通过恢复观察到的轨迹背后的目标来模拟行人或动物的运动
人工智能对齐的奖励推理，从演示的选择中学习人类价值观
逆向强化学习的未来
现实生活越来越多地支持奖励学习的一致性：系统不是人类手动编码奖励，而是从行为和反馈中推断人们看重什么。期望与人类反馈和偏好学习的强化学习、扩展到语言模型和机器人设置建立更紧密的联系。研究正在推动从原始视频和部分观察中恢复奖励，以及可证明可识别的奖励，以抵制困扰当今方法的奖励黑客和模糊性问题。
付诸实践
为什么这很重要
- 成本与预算. 多年来，架构决策决定着性能和运营成本。
- 更清晰的判决. 技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
- 质量控制. 更好的工程选择可以减少生产中的可靠性事故。
留意
- 优化一项基准测试可以隐藏更广泛的系统弱点。
- 基础设施和维护成本常常被低估。
- 随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
后续步骤
- 在实施之前定义延迟、质量和成本目标。
- 在实际负载和数据条件下进行基准测试。
- 仪器监控错误、漂移和用户影响。
- 在扩展之前准备回滚和事件响应路径。
不断探索
常见问题
什么是逆强化学习？
逆向强化学习 (IRL) 颠覆了标准强化学习：它不是获得奖励并找到策略，而是观察专家的行为并推断出解释该行为的隐藏奖励函数。这很重要，因为恢复的奖励比直接复制的动作更好地推广到新的情况。
逆强化学习的目的是恢复什么？
IRL 将演示作为输入并推断出潜在的奖励函数，在该函数下专家的行为显得最优。
为什么 IRL 问题被描述为不适定或不明确的？
多个奖励函数，包括一个微不足道的全零奖励，可以使观察到的行为达到最佳，因此奖励并不是仅由演示唯一确定的。
与行为克隆相比，恢复奖励有什么关键优势？
奖励函数编码了专家这样做的原因，让派生策略在新状态下表现得明智，而克隆仅复制数据中看到的动作。
最大熵 IRL 如何解决奖励模糊性？
最大熵 IRL 假设更高奖励轨迹的可能性呈指数级增长，从而给出了一个独特的目标，同时也容忍不完美、嘈杂的专家。
IRL 恢复奖励函数后，接下来通常会做什么？
IRL 产生奖励，然后将其交给普通的 RL 算法，以计算推断目标下的最优策略。