HƯỚNG DẪN cơ bản

Phát hiện bất thường

Phát hiện bất thường là phương pháp dạy máy đánh dấu các điểm dữ liệu có sai lệch rõ rệt so với mô hình thông thường.

Nghe hướng dẫn nàyAI thuật lại · ~2 min

Trên trang nàyĐọc trong 2 phút
  1. Tổng quan
  2. Lặn sâu
  3. Triển khai trong thế giới thực
  4. Tương lai của việc phát hiện sự bất thường
  5. Đưa nó vào thực tế
  6. Tiếp tục khám phá
  7. Câu hỏi thường gặp

Tổng quan

Điều này quan trọng vì các sự kiện hiếm gặp, bất ngờ — gian lận, hỏng thiết bị, xâm nhập — thường ẩn giấu trong đại dương dữ liệu thông thường mà con người không thể quét bằng tay.

Lặn sâu

Phát hiện bất thường xác định các quan sát không phù hợp với hành vi dự kiến, thường được gọi là các ngoại lệ, mới lạ hoặc ngoại lệ. Hầu hết các phương pháp tiếp cận trước tiên đều tìm hiểu xem 'bình thường' trông như thế nào, sau đó tính điểm dữ liệu mới theo mức độ sai lệch của nó. Các phương pháp thống kê đánh dấu các điểm vượt quá một vài độ lệch chuẩn; các phương pháp dựa trên khoảng cách như k-hàng xóm gần nhất gắn cờ các điểm cách xa các điểm ngang hàng của họ; các phương pháp mật độ như điểm cờ Yếu tố ngoại lệ cục bộ ở các vùng thưa thớt. Học máy bổ sung thêm Rừng cách ly, khai thác thực tế là các điểm bất thường rất dễ bị cô lập với một vài phần tách ngẫu nhiên và bộ mã hóa tự động, giúp tái tạo tốt dữ liệu bình thường nhưng không thành công ở những điểm bất thường. Thách thức cốt lõi là các điểm bất thường rất hiếm và thường không được gắn nhãn, vì vậy các mô hình phải học chủ yếu từ các ví dụ thông thường và chấp nhận các định nghĩa mơ hồ, ngày càng phát triển về 'bình thường'.

Triển khai trong thế giới thực

Mạng lưới thẻ tín dụng đánh dấu một giao dịch ở nước ngoài vài giây sau khi thẻ được sử dụng trong nước, ngăn chặn khả năng gian lận trước khi mua hàng.

Cảm biến của nhà máy phát hiện độ rung hoặc nhiệt độ bất thường trong động cơ, dự đoán số ngày hỏng vòng bi trước khi sự cố làm dừng dây chuyền.

Các công cụ an ninh mạng phát hiện một máy chủ đột nhiên gửi hàng gigabyte đến một IP không xác định vào lúc 3 giờ sáng, báo hiệu có thể bị rò rỉ dữ liệu.

Máy theo dõi của bệnh viện ghi lại nhịp tim không đều trong dữ liệu ECG liên tục, cảnh báo các bác sĩ lâm sàng về tình trạng rối loạn nhịp tim đang phát triển.

Tương lai của việc phát hiện sự bất thường

Việc phát hiện đang chuyển sang phát trực tiếp theo thời gian thực trên các thiết bị biên, do đó, các điểm bất thường sẽ xuất hiện trong vòng một phần nghìn giây thay vì sau khi phân tích hàng loạt. Mạng lưới thần kinh đồ thị và học sâu ngày càng nắm bắt được các mô hình tinh vi, đa biến như các vòng gian lận phối hợp. Các mô hình nền tảng và tự giám sát hứa hẹn các hệ thống sẽ thích ứng như những biến động 'bình thường' theo thời gian, giảm việc điều chỉnh thủ công. Khả năng giải thích cũng là một ưu tiên: các nhóm muốn các mô hình không chỉ cho biết có điều gì đó bất thường mà còn cho biết tính năng nào đã kích hoạt cảnh báo, để các nhà phân tích có thể tự tin hành động.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Quyết định rõ ràng hơn. Nó giúp bạn tách biệt các tuyên bố kỹ thuật rõ ràng khỏi ngôn ngữ tiếp thị.
  • Chi phí và ngân sách. Bạn có thể đặt các câu hỏi triển khai tốt hơn trước khi chi tiền hoặc thời gian.
  • Nhóm và quy trình làm việc. Các nhóm có sự hiểu biết chung sẽ đưa ra các quyết định về sản phẩm, chính sách và học tập tốt hơn.

coi chừng

  • Các nhóm khác nhau có thể sử dụng cùng một thuật ngữ một cách khác nhau, vì vậy hãy sớm xác định phạm vi.
  • Điểm chuẩn có thể trông mạnh mẽ trong khi hiệu suất trong thế giới thực không đồng đều.
  • Việc bỏ qua các kế hoạch đánh giá và chất lượng dữ liệu thường tạo ra những kết quả mong manh.

Các bước tiếp theo

  1. Bắt đầu với một định nghĩa đơn giản về kết quả bạn cần.
  2. Chọn một số liệu thành công và một điều kiện thất bại trước khi thử nghiệm.
  3. Chạy một thử nghiệm nhỏ với dữ liệu đại diện chứ không phải một bản demo bóng bẩy.
  4. Tài liệu nơi Phát hiện bất thường có ích và nơi các phương pháp đơn giản hơn sẽ tốt hơn.

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Take the Anomaly Detection quiz

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

Phát hiện bất thường là gì?

Phát hiện bất thường là phương pháp dạy máy đánh dấu các điểm dữ liệu có sai lệch rõ rệt so với mô hình thông thường. Điều này quan trọng vì các sự kiện hiếm gặp, bất ngờ — gian lận, lỗi thiết bị, xâm nhập — thường ẩn giấu trong đại dương dữ liệu thông thường mà con người không thể quét bằng tay.

Tại sao các mô hình phát hiện bất thường thường được đào tạo chủ yếu dựa trên dữ liệu 'bình thường' thay vì các điểm bất thường được dán nhãn?

Bởi vì các dị thường thực sự không thường xuyên và khó gắn nhãn nên các mô hình thường tìm hiểu xem bình thường trông như thế nào và đánh dấu các sai lệch so với nó.

Rừng Cách ly xác định điểm bất thường như thế nào?

Các ngoại lệ rất dễ tách khỏi phần còn lại của dữ liệu, do đó chúng bị cô lập với ít phân vùng hơn, tạo ra độ dài đường dẫn trung bình ngắn.

Khi bộ mã hóa tự động được sử dụng để phát hiện điểm bất thường, điều gì báo hiệu sự bất thường?

Được đào tạo trên dữ liệu thông thường, bộ mã hóa tự động tái tạo tốt các đầu vào bình thường nhưng tạo ra lỗi tái tạo lớn đối với các đầu vào bất thường.

Phương pháp Yếu tố ngoại lệ cục bộ chủ yếu dựa vào điều gì?

Cờ LOF chỉ ra các điểm nằm ở các vùng thưa thớt, mật độ thấp so với các vùng lân cận là điểm bất thường.

Đâu là thách thức thực tế đối với các hệ thống phát hiện bất thường được triển khai?

Hành vi phát triển, do đó, những thay đổi được coi là bình thường và các mô hình phải thích ứng hoặc được đào tạo lại để tránh cảnh báo sai.