概述
Catching and preventing this mismatch is one of the hardest, most important jobs in real-world machine learning.
深入探讨
模型根据大批量历史数据进行“离线”训练，然后实时“在线”提供预测。当这两条路径以不同的方式计算特征时，就会出现偏差。常见原因：单独的代码（Python 批处理作业与 Java 服务）微妙地不一致；时间泄漏，离线训练意外地使用了在预测时尚不可用的信息；以及过时的在线功能，其中诸如“过去一小时的订单”之类的值被缓存并过期。该模型在离线评估中看起来很棒，但在实时评估中表现不佳，因为它看到的输入不再与其训练的内容相匹配。检测偏差需要记录在线提供的确切特征，并将其分布与训练集进行比较，同时防止它有利于两条路径的单一共享定义。
现实世界的实施
一款拼车应用发现其 ETA 模型实时降级，因为在线“当前路况”功能在训练时使用了新值，被缓存了 10 分钟。
欺诈团队发现离线准确性因泄漏而被夸大：训练加入了“退款”标志，该标志仅在其预测的交易发生后才存在。
ML 平台团队记录生产中提供的每个功能，并每晚运行作业，将其分布与训练数据进行比较，以发出偏差警报。
A recommendation team reduces implementation skew by sharing feature definitions, then tests timestamps and freshness in both training and serving.
线上和线下功能服务倾斜的未来
Teams can improve feature parity by recording transformation versions, event times, availability times, and online freshness. Shared definitions and log-and-replay checks help investigate mismatches, but they need testing under actual batch and streaming conditions. Distribution alerts should lead to investigation rather than an automatic claim that serving code is wrong.
付诸实践
为什么这很重要
- 成本与预算. 多年来，架构决策决定着性能和运营成本。
- 更清晰的判决. 技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
- 质量控制. 更好的工程选择可以减少生产中的可靠性事故。
留意
- 优化一项基准测试可以隐藏更广泛的系统弱点。
- 基础设施和维护成本常常被低估。
- 随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
后续步骤
- 在实施之前定义延迟、质量和成本目标。
- 在实际负载和数据条件下进行基准测试。
- 仪器监控错误、漂移和用户影响。
- 在扩展之前准备回滚和事件响应路径。
不断探索
常见问题
What is Online and Offline Feature Serving Skew?
当模型从离线学习的特征与其在生产中实际接收的特征不同时，就会发生训练/服务偏差，从而悄悄地破坏准确性。发现并防止这种不匹配是现实机器学习中最困难、最重要的工作之一。
什么是训练/服务偏差？
偏差是模型从离线学习的特征值与实时预测时实际接收到的值之间的不匹配。
When building a historical training row, which feature timestamps should a point-in-time join allow?
A historical row must not receive future information. Timestamped point-in-time retrieval helps enforce that constraint when the data records availability correctly.
A logged live feature distribution differs from training. What should the feature-serving team infer first?
Distribution monitoring flags changes, but matched-time value comparisons are needed to distinguish a computation mismatch from changes in the population.
为什么像“过去一小时的订单”这样的缓存在线功能存在偏差风险？
如果缓存的值在服务时已过期，则模型会收到与训练期间不同的输入，从而产生偏差。
Why share one feature definition across batch training and online serving?
Shared definitions reduce one important source of skew. They do not remove stale caches, differing source data, or time-availability errors.