Phát hiện bất thường
Phát hiện bất thường là phương pháp dạy máy đánh dấu các điểm dữ liệu có sai lệch rõ rệt so với mô hình thông thường.
Tổng quan
It matters because rare, unexpected events — fraud, equipment failure, intrusions — often hide in oceans of routine data that humans cannot scan by hand.
Lặn sâu
Phát hiện bất thường xác định các quan sát không phù hợp với hành vi dự kiến, thường được gọi là các ngoại lệ, mới lạ hoặc ngoại lệ. Hầu hết các phương pháp tiếp cận trước tiên đều tìm hiểu xem 'bình thường' trông như thế nào, sau đó tính điểm dữ liệu mới theo mức độ sai lệch của nó. Các phương pháp thống kê đánh dấu các điểm vượt quá một vài độ lệch chuẩn; các phương pháp dựa trên khoảng cách như k-hàng xóm gần nhất gắn cờ các điểm cách xa các điểm ngang hàng của họ; các phương pháp mật độ như điểm cờ Yếu tố ngoại lệ cục bộ ở các vùng thưa thớt. Học máy bổ sung thêm Rừng cách ly, khai thác thực tế là các điểm bất thường rất dễ bị cô lập với một vài phần tách ngẫu nhiên và bộ mã hóa tự động, giúp tái tạo tốt dữ liệu bình thường nhưng không thành công ở những điểm bất thường. Thách thức cốt lõi là các điểm bất thường rất hiếm và thường không được gắn nhãn, vì vậy các mô hình phải học chủ yếu từ các ví dụ thông thường và chấp nhận các định nghĩa mơ hồ, ngày càng phát triển về 'bình thường'.
Hiểu biết kỹ thuật
Nhiều hệ thống chỉ được đào tạo trên dữ liệu thông thường - được gọi là học một lớp hoặc học bán giám sát - bởi vì các dị thường được gắn nhãn là rất hiếm. Ví dụ: một bộ mã hóa tự động sẽ nén đầu vào vào một nút thắt cổ chai nhỏ và tái tạo lại nó; được huấn luyện trên các mẫu bình thường, nó tạo ra lỗi tái thiết cao trên các điểm bất thường mà nó chưa từng thấy. Rừng cách ly hoạt động theo cách khác: phân vùng ngẫu nhiên sẽ cô lập các phần ngoại lệ với ít phần tách hơn, do đó độ dài đường dẫn trung bình ngắn hơn sẽ báo hiệu sự bất thường. Cả hai đều chuyển đổi 'sự kỳ lạ' thành điểm số có ngưỡng.
Tác động chiến lược
Quyết định rõ ràng hơn
Nó giúp bạn tách biệt các tuyên bố kỹ thuật rõ ràng khỏi ngôn ngữ tiếp thị.
Chi phí và ngân sách
Bạn có thể đặt các câu hỏi triển khai tốt hơn trước khi chi tiền hoặc thời gian.
Nhóm và quy trình làm việc
Các nhóm có sự hiểu biết chung sẽ đưa ra các quyết định về sản phẩm, chính sách và học tập tốt hơn.
Tương lai của việc phát hiện sự bất thường
Việc phát hiện đang chuyển sang phát trực tiếp theo thời gian thực trên các thiết bị biên, do đó, các điểm bất thường sẽ xuất hiện trong vòng một phần nghìn giây thay vì sau khi phân tích hàng loạt. Mạng lưới thần kinh đồ thị và học sâu ngày càng nắm bắt được các mô hình tinh vi, đa biến như các vòng gian lận phối hợp. Các mô hình nền tảng và tự giám sát hứa hẹn các hệ thống sẽ thích ứng như những biến động 'bình thường' theo thời gian, giảm việc điều chỉnh thủ công. Khả năng giải thích cũng là một ưu tiên: các nhóm muốn các mô hình không chỉ cho biết có điều gì đó bất thường mà còn cho biết tính năng nào đã kích hoạt cảnh báo, để các nhà phân tích có thể tự tin hành động.
Triển khai trong thế giới thực
Mạng lưới thẻ tín dụng đánh dấu một giao dịch ở nước ngoài vài giây sau khi thẻ được sử dụng trong nước, ngăn chặn khả năng gian lận trước khi mua hàng.
Cảm biến của nhà máy phát hiện độ rung hoặc nhiệt độ bất thường trong động cơ, dự đoán số ngày hỏng vòng bi trước khi sự cố làm dừng dây chuyền.
Các công cụ an ninh mạng phát hiện một máy chủ đột nhiên gửi hàng gigabyte đến một IP không xác định vào lúc 3 giờ sáng, báo hiệu có thể bị rò rỉ dữ liệu.
Máy theo dõi của bệnh viện ghi lại nhịp tim không đều trong dữ liệu ECG liên tục, cảnh báo các bác sĩ lâm sàng về tình trạng rối loạn nhịp tim đang phát triển.
Rủi ro & lan can
Các nhóm khác nhau có thể sử dụng cùng một thuật ngữ một cách khác nhau, vì vậy hãy sớm xác định phạm vi.
Điểm chuẩn có thể trông mạnh mẽ trong khi hiệu suất trong thế giới thực không đồng đều.
Việc bỏ qua các kế hoạch đánh giá và chất lượng dữ liệu thường tạo ra những kết quả mong manh.
Lộ trình thực hiện
Bắt đầu với một định nghĩa đơn giản về kết quả bạn cần.
Chọn một số liệu thành công và một điều kiện thất bại trước khi thử nghiệm.
Chạy một thử nghiệm nhỏ với dữ liệu đại diện chứ không phải một bản demo bóng bẩy.
Tài liệu nơi Phát hiện bất thường có ích và nơi các phương pháp đơn giản hơn sẽ tốt hơn.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Anomaly Detection quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Phát hiện bất thường AI
Câu hỏi thường gặp
What is Anomaly Detection?
Phát hiện bất thường là phương pháp dạy máy đánh dấu các điểm dữ liệu có sai lệch rõ rệt so với mô hình thông thường. Điều này quan trọng vì các sự kiện hiếm gặp, bất ngờ — gian lận, lỗi thiết bị, xâm nhập — thường ẩn giấu trong đại dương dữ liệu thông thường mà con người không thể quét bằng tay.
Tại sao các mô hình phát hiện bất thường thường được đào tạo chủ yếu dựa trên dữ liệu 'bình thường' thay vì các điểm bất thường được dán nhãn?
Bởi vì các dị thường thực sự không thường xuyên và khó gắn nhãn nên các mô hình thường tìm hiểu xem bình thường trông như thế nào và đánh dấu các sai lệch so với nó.
Rừng Cách ly xác định điểm bất thường như thế nào?
Các ngoại lệ rất dễ tách khỏi phần còn lại của dữ liệu, do đó chúng bị cô lập với ít phân vùng hơn, tạo ra độ dài đường dẫn trung bình ngắn.
Khi bộ mã hóa tự động được sử dụng để phát hiện điểm bất thường, điều gì báo hiệu sự bất thường?
Được đào tạo trên dữ liệu thông thường, bộ mã hóa tự động tái tạo tốt các đầu vào bình thường nhưng tạo ra lỗi tái tạo lớn đối với các đầu vào bất thường.
Phương pháp Yếu tố ngoại lệ cục bộ chủ yếu dựa vào điều gì?
Cờ LOF chỉ ra các điểm nằm ở các vùng thưa thớt, mật độ thấp so với các vùng lân cận là điểm bất thường.
Đâu là thách thức thực tế đối với các hệ thống phát hiện bất thường được triển khai?
Hành vi phát triển, do đó, những thay đổi được coi là bình thường và các mô hình phải thích ứng hoặc được đào tạo lại để tránh cảnh báo sai.