概述
它可以标记分布变化，但本身并不能确立模型故障或其原因。
深入探讨
数据或输入漂移是指输入分布的变化；概念漂移是指输入与目标之间关系的变化。当标签到达较晚时，输入监控可以提供更早的信号，但分布偏移可能是无害的，且稳定的输入仍可能伴随性能变化。PSI 是用于比较分箱分布的一种统计量。其值取决于分箱和参考选择；常见阈值是惯例，而非普遍法则。NIST AI RMF 建议在整个系统生命周期中进行持续监控和风险管理。
现实世界的实施
将特征分布与有文档记录的参考期进行对比。
使用延迟标签来评估检测到的输入变化是否影响了性能。
在重新训练或更改模型之前，先调查漂移警报。
在每份报告中记录指标定义、分箱和阈值。
模型漂移检测的未来
在可用的情况下，监控应结合输入、输出和带标签的性能信号。为任务定义警报阈值，调查原因，并针对稳定的评估集验证任何重新训练。
付诸实践
为什么这很重要
- 成本与预算. 多年来，架构决策决定着性能和运营成本。
- 更清晰的判决. 技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
- 质量控制. 更好的工程选择可以减少生产中的可靠性事故。
留意
- 优化一项基准测试可以隐藏更广泛的系统弱点。
- 基础设施和维护成本常常被低估。
- 随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
后续步骤
- 在实施之前定义延迟、质量和成本目标。
- 在实际负载和数据条件下进行基准测试。
- 仪器监控错误、漂移和用户影响。
- 在扩展之前准备回滚和事件响应路径。
不断探索
常见问题
什么是模型漂移检测？
漂移监控将当前输入或结果与参考基准进行比较。它可以标记分布变化，但本身并不能确立模型故障或其原因。
数据漂移和概念漂移有什么区别？
数据漂移（协变量漂移）意味着输入分布发生变化，而概念漂移意味着输入与正确标签之间的映射发生变化。
团队应如何解释诸如 0.30 这样的 PSI 值？
PSI 阈值是启发式方法；显著性取决于分箱、参考数据、特征行为和部署上下文。
为什么基于输入的漂移检测可以提前预警？
您通常会立即看到新的输入数据，但真正的结果（标签）可能需要几天或几个月的时间，因此监控输入可以更快地发现问题。
双样本 Kolmogorov-Smirnov 检验比较什么？
指南将 KS 统计量描述为比较经验累积分布；它可以用于比较参考和当前特征样本。
哪种情况是概念漂移的明显例子？
当类似输入的正确标签随着时间的推移而改变时，基本概念本身就发生了变化。