概述
一个核心难点是分布偏移：策略可能会选择数据支持范围之外的动作，在这些区域价值估计可能不可靠。
深入探讨
离线强化学习与在线强化学习的不同之处在于，训练过程中无法向环境请求纠正性经验。D4RL 提供了用于评估离线方法的基准任务和数据集。外推误差可能使未见过的动作显得有价值。CQL 惩罚过于乐观的 Q 值；BCQ 将候选动作限制在数据集周围；IQL 使用期望分位数回归和从数据集中动作提取策略。Decision Transformer 则将控制问题重构为基于剩余回报条件的自回归轨迹建模。这些是具有特定基准结果的方法，而非安全部署的保证。
现实世界的实施
使用记录的状态-动作-奖励-下一状态转移作为训练数据集。
使用 D4RL 基准数据集和任务，在文档化的评估协议下比较离线强化学习方法。
使用 BCQ 将候选动作限制在观测行为分布附近。
使用 IQL 通过对数据集中存在的动作进行期望分位数回归来拟合价值。
离线强化学习的未来
在保留轨迹上评估离线策略，并报告数据集覆盖率、奖励定义和不确定性。在高风险领域，离线评估应与领域审查和前瞻性保障措施相结合，然后才能用于任何实际场景。
付诸实践
为什么这很重要
- 成本与预算. 多年来，架构决策决定着性能和运营成本。
- 更清晰的判决. 技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
- 质量控制. 更好的工程选择可以减少生产中的可靠性事故。
留意
- 优化一项基准测试可以隐藏更广泛的系统弱点。
- 基础设施和维护成本常常被低估。
- 随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
后续步骤
- 在实施之前定义延迟、质量和成本目标。
- 在实际负载和数据条件下进行基准测试。
- 仪器监控错误、漂移和用户影响。
- 在扩展之前准备回滚和事件响应路径。
不断探索
常见问题
什么是离线强化学习？
离线强化学习从先前转移的固定数据集中学习策略，在训练过程中不收集新的环境交互数据。一个核心难点是分布偏移：策略可能会选择数据支持范围之外的动作，在这些区域价值估计可能不可靠。
离线（批量）强化学习的定义是什么？
离线强化学习完全从之前收集的数据中学习策略，并且在训练期间从不与环境交互。
离线强化学习的核心技术挑战是什么？
价值方法高估了数据集中不存在的行为，并且没有环境来纠正这些错误，该政策追求虚幻的奖励。
D4RL 为评估离线强化学习算法的研究人员提供了什么？
D4RL 论文引入了基准任务和数据集，以及评估协议和示例，以支持离线强化学习的研究。
保守 Q 学习 (CQL) 如何对抗高估？
CQL 添加了惩罚，降低了不在数据中的操作的 Q 值，同时保持数据内操作较高，从而产生保守的值下限。
Decision Transformer 如何重构离线强化学习？
Decision Transformer 将轨迹视为序列，并生成以目标返回为条件的操作，将控制转换为自回归序列预测。