概述
这很重要，因为罕见的意外事件（欺诈、设备故障、入侵）通常隐藏在人类无法手动扫描的常规数据海洋中。
深入探讨
异常检测可识别不符合预期行为的观察结果，通常称为异常值、新奇点或例外。大多数方法首先了解“正常”是什么样子，然后根据偏离的程度对新数据进行评分。统计方法标记点超出几个标准差；基于距离的方法，例如 k 最近邻标记远离其同伴的点；密度方法，例如稀疏区域中的局部离群因子标志点。机器学习添加了隔离森林和自动编码器，前者利用了异常很容易通过少量随机分割来隔离的事实，后者可以很好地重建正常数据，但无法处理异常数据。一个核心挑战是，异常现象很少见，而且通常没有标签，因此模型必须主要从正常示例中学习，并容忍模棱两可、不断演变的“正常”定义。
现实世界的实施
在国内使用信用卡后几秒钟，信用卡网络就会标记国外的交易，从而在购买前阻止可能的欺诈行为。
工厂传感器可以检测电机中的异常振动或温度，在故障导致生产线停机前几天预测轴承故障。
网络安全工具发现一台服务器在凌晨 3 点突然向未知 IP 发送千兆字节的数据，这表明可能存在数据泄露。
医院监护仪在连续心电图数据中捕捉到不规则的心律，提醒临床医生注意心律失常的发展。
异常检测的未来
检测正在转向边缘设备上的实时流，因此异常现象会在几毫秒内出现，而不是在批量分析之后出现。深度学习和图神经网络越来越多地捕捉微妙的多变量模式，例如协调的欺诈团伙。自监督和基础模型承诺系统能够随着时间的推移适应“正常”漂移，从而减少手动重新调整。可解释性也是一个优先考虑的因素：团队希望模型不仅能表明某些异常情况，还能表明哪些功能触发了警报，以便分析师可以放心地采取行动。
付诸实践
为什么这很重要
- 更清晰的判决. 它可以帮助您将清晰的技术声明与营销语言分开。
- 成本与预算. 在花费金钱或时间之前，您可以提出更好的实施问题。
- 团队与工作流程. 具有共同理解的团队可以做出更好的产品、政策和学习决策。
留意
- 不同的团队可能会以不同的方式使用同一术语，因此请尽早定义范围。
- 基准测试可能看起来很强大，但实际性能却参差不齐。
- 忽视数据质量和评估计划通常会产生脆弱的结果。
后续步骤
- 从您需要的结果的简单语言定义开始。
- 在测试之前选择一种成功指标和一种失败条件。
- 使用代表性数据运行小型试点，而不是完善的演示集。
- 记录异常检测在哪些方面有帮助以及在哪些方面更简单的方法更好。
不断探索
常见问题
什么是异常检测？
异常检测是教导机器标记与正常模式严重偏离的数据点的做法。这很重要，因为罕见的意外事件（欺诈、设备故障、入侵）通常隐藏在人类无法手动扫描的常规数据海洋中。
为什么异常检测模型通常主要针对“正常”数据而不是标记的异常进行训练？
由于真正的异常现象很少见且难以标记，因此模型通常会了解正常情况并标记与正常情况的偏差。
隔离森林如何识别异常？
异常值很容易与其余数据分离，因此可以用较少的分区来隔离它们，从而产生较短的平均路径长度。
当自动编码器用于异常检测时，什么信号表明异常？
在正常数据上进行训练后，自动编码器可以很好地重建正常输入，但对异常输入会产生较大的重建误差。
局部离群因子方法主要依赖什么？
LOF 将相对于其邻居位于稀疏、低密度区域的点标记为异常。
对于已部署的异常检测系统来说，哪一个是现实的挑战？
行为会不断发展，因此什么才是正常的转变，模型必须适应或重新训练，以避免误报。