HƯỚNG DẪN KỸ THUẬT

Phân cụm DBSCAN

DBSCAN hình thành các cụm từ các vùng lân cận dày đặc và gắn nhãn các điểm không thể kết nối với vùng đủ dày đặc dưới dạng nhiễu.

Nghe hướng dẫn nàyAI thuật lại · ~3 min

Trên trang nàyĐọc trong 3 phút
  1. Tổng quan
  2. Lặn sâu
  3. Triển khai trong thế giới thực
  4. Tương lai của phân cụm DBSCAN
  5. Đưa nó vào thực tế
  6. Tiếp tục khám phá
  7. Câu hỏi thường gặp

Tổng quan

Nó có thể tìm thấy các hình dạng không phải hình cầu mà không cần chọn số cụm trước, nhưng bán kính vùng lân cận và cài đặt điểm tối thiểu tương tác với tỷ lệ và mật độ khác nhau.

Lặn sâu

DBSCAN có nghĩa là Phân cụm ứng dụng không gian dựa trên mật độ có nhiễu. Nó xác định các vùng lân cận cục bộ bằng cách sử dụng bán kính epsilon và số điểm tối thiểu min_samples. Một điểm cốt lõi có đủ số lượng quan sát trong vùng lân cận của nó để đáp ứng ngưỡng. Một cụm phát triển bằng cách kết nối các điểm cốt lõi có thể tiếp cận được bằng mật độ. Các điểm gần điểm lõi nhưng có quá ít lân cận làm lõi có thể là điểm biên. Các quan sát không được gán cho một cụm sẽ được coi là nhiễu hoặc ngoại lệ cho lần chạy này. Không giống như k-mean, DBSCAN không yêu cầu số lượng cụm làm đầu vào và có thể xác định các vùng dày đặc có đường cong hoặc hình dạng không đều. Khái niệm về mật độ của nó phụ thuộc vào thước đo khoảng cách, tỷ lệ đặc trưng và các tham số. Một epsilon quá nhỏ có thể coi nhiều điểm là nhiễu; một epsilon quá lớn có thể hợp nhất các nhóm lân cận. Việc tăng min_samples thường đòi hỏi sự hỗ trợ dày đặc hơn cho trạng thái cốt lõi. Lựa chọn tham số phải phản ánh quy mô vùng lân cận có ý nghĩa và được kiểm tra bằng kiến ​​thức về miền, không được chọn chỉ để có được số lượng cụm hấp dẫn. Một ngưỡng mật độ toàn cầu duy nhất có thể gặp khó khăn khi một cụm thực sự có mật độ thấp hơn nhiều so với cụm khác. Sự tập trung khoảng cách nhiều chiều cũng có thể làm suy yếu trực giác lân cận. Kết quả có thể thay đổi tùy theo số liệu khoảng cách và biểu diễn tính năng. Trong scikit-learn, nhãn -1 biểu thị nhiễu và các điểm biên được liên kết với nhiều cụm có thể dẫn đến các chi tiết phân công phụ thuộc vào việc triển khai. Nhãn nhiễu của DBSCAN không có nghĩa là một điểm bị lỗi, nguy hiểm hoặc vĩnh viễn nằm ngoài mỗi cụm; điều đó có nghĩa là điểm không được chỉ định theo số liệu và tham số hóa này. Đánh giá độ ổn định của cụm trên các cài đặt hợp lý, kiểm tra xem có bao nhiêu điểm nhiễu và liệu các cụm có phù hợp với nhiệm vụ hay không. Nếu mọi điểm phải được chỉ định hoặc mật độ cụm thay đổi đáng kể, hãy so sánh với các phương pháp khác. Không giống như các phương pháp dựa trên centroid, DBSCAN không cung cấp quy tắc dự đoán một cách tự nhiên để gán các điểm mới tùy ý mà không cần thiết kế bổ sung. Chia tỷ lệ tài liệu, số liệu, epsilon và min_samples để có thể sao chép kết quả.

Triển khai trong thế giới thực

Trong bản đồ hai chiều giả định, DBSCAN gắn nhãn lõi điểm khi vùng lân cận epsilon của nó chứa ít nhất các quan sát min_samples, tự đếm theo quy ước của scikit-learn. Các điểm cốt lõi lân cận kết nối thành một cụm.

Một điểm biên giới nằm trong epsilon của một điểm cốt lõi nhưng có quá ít điểm lân cận để đủ tiêu chuẩn là điểm cốt lõi. Nó có thể tham gia cụm đó mà không cần mở rộng vùng kết nối mật độ giống như điểm lõi.

Một nhà phân tích chuẩn hóa tọa độ được đo bằng km và đô la trước khi sử dụng khoảng cách Euclide. Mặt khác, đặc điểm đơn vị lớn có thể lấn át khoảng cách lân cận và làm biến dạng mật độ lân cận.

Một tập dữ liệu chứa một cụm nhỏ gọn và một cụm khuếch tán. Một epsilon tổng thể có thể phù hợp với nhóm nhỏ gọn trong khi coi nhóm khuếch tán là nhiễu, dẫn đến so sánh với phương pháp được thiết kế cho mật độ khác nhau.

Tương lai của phân cụm DBSCAN

Phân tích DBSCAN có thể hữu ích hơn khi các nhóm trực quan hóa các điểm lõi, đường biên và điểm nhiễu một cách riêng biệt và chạy lại phương pháp trên các thang khoảng cách hợp lý. Việc giám sát sẽ theo dõi tỷ lệ tiếng ồn và thành phần cụm thay đổi như thế nào khi nhóm đầu vào thay đổi. Khi mật độ cục bộ thay đổi, các phương pháp mật độ phân cấp hoặc các phương pháp thay thế khác có thể đáng được so sánh với các giả định đã nêu. Các nhóm nên duy trì cài đặt tham số và tiền xử lý để nhãn cụm không bị so sánh giữa các lần chạy như thể chúng là danh tính ổn định. Việc biểu diễn khoảng cách tốt hơn có thể hữu ích nhưng ý nghĩa vùng lân cận vẫn phải được xác thực cho ứng dụng.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Chi phí và ngân sách. Các quyết định về kiến ​​trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
  • Quyết định rõ ràng hơn. Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
  • Kiểm soát chất lượng. Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.

coi chừng

  • Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
  • Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
  • Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.

Các bước tiếp theo

  1. Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
  2. Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
  3. Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
  4. Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Take the DBSCAN Clustering quiz

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

Phân cụm DBSCAN là gì?

DBSCAN hình thành các cụm từ các vùng lân cận dày đặc và gắn nhãn các điểm không thể kết nối với vùng đủ dày đặc dưới dạng nhiễu. Nó có thể tìm thấy các hình dạng không phải hình cầu mà không cần chọn số cụm trước, nhưng bán kính vùng lân cận và cài đặt điểm tối thiểu tương tác với tỷ lệ và mật độ khác nhau.

Theo quy ước của scikit-learn, điểm nào đủ điều kiện làm điểm cốt lõi?

Tiêu chí cốt lõi đếm các mẫu trong vùng lân cận bán kính, bao gồm cả điểm đó.

Làm thế nào một điểm biên giới có thể thuộc về một cụm mà không phải là lõi?

Điểm biên nằm trong vùng lân cận của điểm lõi nhưng không đáp ứng ngưỡng mật độ lõi.

Nhãn tiếng ồn DBSCAN có nghĩa là gì?

Nhiễu liên quan đến biểu diễn khoảng cách và các tham số mật độ đã chọn; nó không phải là một phán đoán phổ quát về quan sát.

Điều gì có thể xảy ra khi epsilon được đặt quá lớn?

Bán kính lớn có thể kết nối các vùng cần tách biệt theo định nghĩa mật độ cục bộ hơn.

Tại sao các đơn vị tính năng không nhất quán có thể làm sai lệch kết quả DBSCAN?

Các vùng lân cận dựa trên khoảng cách có thể bị chi phối bởi các đối tượng địa lý có quy mô lớn hơn về mặt số lượng.