概述
它可以跟踪数据质量、分布变化、预测模式和测量结果。输入分布的变化是调查的一个原因，而不是准确性下降的自动证据。
主要要点
- 监控投入合同和结果。
- 保持标签延迟和样本限制可见。
- 根据原因选择恢复。
深入探讨
根据记录的期间和模型版本建立基线。跟踪缺失字段、无效范围、新类别、延迟和输出分布。这些信号可以在有足够的结果标签可用于评估预测质量之前检测管道故障。当可靠的结果出现时，将绩效与原始评估和最近的相关时期进行比较。报告亚组结果和样本量。延迟或选择性收集的标签可以使仪表板看起来比其证据支持的更完整。区分数据漂移和输入与结果之间关系的变化。可能会出现季节性变化，而更改的功能定义可能表明存在软件缺陷。在选择再培训作为应对措施之前调查原因。定义警报阈值、审查责任和恢复决策。响应可以包括更正数据、回滚版本、更改阈值或重新训练。验证对适当评估材料的干预，然后继续测量。监控应该导致明智的行动，而不是自动模型改动。
04工作示例
再培训前进行调查
想象一下温度特征的平均值在一夜之间急剧增加。
在断定环境发生变化之前，先检查传感器是否从摄氏度变为华氏度。
如果单位转换是原因，请修复管道并重放受影响的输入；对错误价值观进行再培训将解决错误的问题。
它显示了什么
构建的场景将监控与诊断和相应的修复联系起来。
现实世界的实施
针对突然丢失的输入列发出警报。
在所需的结果延迟后，比较预测的需求和观察到的需求。
付诸实践
为什么这很重要
- 成本与预算. 多年来，架构决策决定着性能和运营成本。
- 更清晰的判决. 技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
- 质量控制. 更好的工程选择可以减少生产中的可靠性事故。
留意
- 优化一项基准测试可以隐藏更广泛的系统弱点。
- 基础设施和维护成本常常被低估。
- 随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
后续步骤
- 在实施之前定义延迟、质量和成本目标。
- 在实际负载和数据条件下进行基准测试。
- 仪器监控错误、漂移和用户影响。
- 在扩展之前准备回滚和事件响应路径。
资料来源与延伸阅读
- Google机器学习规则
不断探索
常见问题
数据漂移是否总是意味着模型需要重新训练？
不会。它可能反映了预期的更改、数据缺陷或不会对性能产生重大影响的转变。先调查、评估。