概述
這很重要,因為罕見的意外事件(詐欺、設備故障、入侵)通常隱藏在人類無法手動掃描的常規資料海洋中。
深入探討
異常檢測可識別不符合預期行為的觀察結果,通常稱為異常值、新奇點或例外。大多數方法首先了解「正常」是什麼樣子,然後根據偏離的程度對新數據進行評分。統計方法標記點超出幾個標準差;基於距離的方法,例如 k 最近鄰標記遠離其同伴的點;密度方法,例如稀疏區域中的局部離群因子標誌點。機器學習添加了隔離森林和自動編碼器,前者利用了異常很容易通過少量隨機分割來隔離的事實,後者可以很好地重建正常數據,但無法處理異常數據。一個核心挑戰是,異常現像很少見,而且通常沒有標籤,因此模型必須主要從正常示例中學習,並容忍模棱兩可、不斷演變的「正常」定義。
現實世界的實施
在國內使用信用卡後幾秒鐘,信用卡網路就會標記國外的交易,從而在購買前阻止可能的詐欺行為。
工廠感測器可以檢測馬達中的異常振動或溫度,在故障導致生產線停機前幾天預測軸承故障。
網路安全工具發現一台伺服器在凌晨 3 點突然向未知 IP 發送千兆位元組的數據,這表明可能存在資料外洩。
醫院監視器在連續心電圖資料中捕捉到不規則的心律,提醒臨床醫師注意心律不整的發展。
異常檢測的未來
偵測正在轉向邊緣裝置上的即時串流,因此異常現象會在幾毫秒內出現,而不是在批次分析之後出現。深度學習和圖神經網路越來越多地捕捉微妙的多變量模式,例如協調的詐欺團夥。自監督和基礎模型承諾系統能夠隨著時間的推移適應「正常」漂移,從而減少手動重新調整。可解釋性也是優先考慮的因素:團隊希望模型不僅能顯示某些異常情況,還能顯示哪些功能觸發了警報,以便分析師可以放心採取行動。
付諸實踐
為什麼這很重要
- 更明確的決策. 它可以幫助您將清晰的技術聲明與行銷語言分開。
- 成本與預算. 在花費金錢或時間之前,您可以提出更好的實施問題。
- 團隊與工作流程. 具有共同理解的團隊可以做出更好的產品、政策和學習決策。
留意
- 不同的團隊可能會以不同的方式使用相同術語,因此請儘早定義範圍。
- 基準測試可能看起來很強大,但實際效能卻參差不齊。
- 忽視數據品質和評估計劃通常會產生脆弱的結果。
後續步驟
- 從您需要的結果的簡單語言定義開始。
- 在測試之前選擇一種成功指標和一種失敗條件。
- 使用代表性資料運行小型試點,而不是完善的演示集。
- 記錄異常檢測在哪些方面有幫助以及在哪些方面更簡單的方法更好。
不斷探索
常見問題
什麼是異常檢測?
異常檢測是教導機器標記與正常模式嚴重偏離的數據點的做法。這很重要,因為罕見的意外事件(詐欺、設備故障、入侵)通常隱藏在人類無法手動掃描的常規資料海洋中。
為什麼異常檢測模型通常主要針對「正常」資料而不是標記的異常進行訓練?
由於真正的異常現像很少見且難以標記,因此模型通常會了解正常情況並標記與正常情況的偏差。
隔離森林如何識別異常?
異常值很容易與其餘資料分離,因此可以用較少的分區來隔離它們,從而產生較短的平均路徑長度。
當自動編碼器用於異常檢測時,什麼訊號表示異常?
在正常資料上進行訓練後,自動編碼器可以很好地重建正常輸入,但對異常輸入會產生較大的重建誤差。
局部離群因子方法主要依賴什麼?
LOF 將相對於其鄰居位於稀疏、低密度區域的點標記為異常。
對於已部署的異常檢測系統來說,哪一個是現實的挑戰?
行為會不斷發展,因此什麼是正常的轉變,模型必須適應或重新訓練,以避免誤報。