HƯỚNG DẪN KỸ THUẬT

Phân cụm theo cấp bậc

Phân cụm theo cấp bậc xây dựng một chuỗi các nhóm lồng nhau, thường bằng cách liên tục hợp nhất các cụm gần nhất trong một quy trình kết tụ.

Nghe hướng dẫn nàyAI thuật lại · ~3 min

Trên trang nàyĐọc trong 3 phút
  1. Tổng quan
  2. Lặn sâu
  3. Triển khai trong thế giới thực
  4. Tương lai của phân cụm theo cấp bậc
  5. Đưa nó vào thực tế
  6. Tiếp tục khám phá
  7. Câu hỏi thường gặp

Tổng quan

Chương trình dendrogram ghi lại thứ tự hợp nhất và độ cao liên kết, cho phép các nhà phân tích kiểm tra một số lần cắt cụm, trong khi kết quả vẫn phụ thuộc vào biểu diễn khoảng cách và quy tắc liên kết.

Lặn sâu

Phân cụm theo cấp bậc thể hiện mối quan hệ giữa các quan sát ở nhiều cấp độ thay vì chỉ tạo ra một phân vùng. Trong phân cụm kết tụ, mỗi quan sát bắt đầu trong cụm riêng của nó. Thuật toán liên tục hợp nhất cặp cụm được đánh giá gần nhất theo quy tắc liên kết cho đến khi còn lại một cụm hoặc đạt đến điều kiện dừng. Các phương pháp chia rẽ bắt đầu với một nhóm và chia nhỏ nó ra, mặc dù các phương pháp tổng hợp phổ biến hơn. Liên kết xác định khoảng cách giữa các cụm. Liên kết đơn chiếm khoảng cách theo cặp tối thiểu, có thể kết nối các nhóm kéo dài thông qua một chuỗi các điểm lân cận. Liên kết hoàn chỉnh chiếm khoảng cách tối đa theo cặp, ưu tiên các nhóm chặt chẽ hơn nhưng lại phản ứng với các thành viên ở xa. Liên kết trung bình tính khoảng cách theo cặp. Liên kết phường hợp nhất các cụm để giảm thiểu sự gia tăng tổng bình phương trong cụm và được gắn với hình học Euclide. Những lựa chọn này có thể dẫn đến những cây khác nhau từ cùng một quan sát. Một dendrogram trực quan hóa hệ thống phân cấp. Các lá thể hiện các quan sát và các phép nối nhánh cho biết cụm nào hợp nhất và khoảng cách hoặc chi phí liên kết là bao nhiêu. Cắt cây ở độ cao đã chọn sẽ tạo ra sự phân cụm phẳng; chiều cao không tự động là ngưỡng có ý nghĩa thống kê. Khoảng cách lớn theo chiều dọc có thể gợi ý cắt giảm ứng viên, nhưng tính ổn định, tính hữu dụng của nhóm và bối cảnh miền cũng quan trọng. Chương trình dendrogram có thể trở nên không thể đọc được đối với các tập dữ liệu lớn và việc triển khai có thể khác nhau trong cách xử lý ràng buộc. Khoảng cách và tỷ lệ ảnh hưởng mạnh mẽ đến kết quả. Một đối tượng có phạm vi số lớn hơn nhiều có thể lấn át khoảng cách Euclide trừ khi việc chia tỷ lệ là phù hợp. Phương pháp này có thể tốn kém về mặt tính toán đối với các tập dữ liệu lớn và nhiều quy trình kết tụ không thể gán các quan sát mới một cách tự nhiên cho cây hiện có mà không có phần mở rộng riêng. Chọn khoảng cách và mối liên kết phù hợp với dữ liệu, sau đó đánh giá mức độ nhạy cảm đối với những quyết định đó. Hệ thống phân cấp là cấu trúc mô tả dưới một hình học cụ thể, không phải là bằng chứng cho thấy bản chất chứa một tập hợp các nhóm chính xác.

Triển khai trong thế giới thực

Một nhóm giả định bắt đầu với một cụm cho mỗi khách hàng và áp dụng liên kết trung bình, hợp nhất cặp có khoảng cách giữa các cụm trung bình nhỏ nhất ở mỗi bước.

Sơ đồ dendro hiển thị hai nhánh lớn hợp nhất ở độ cao lớn hơn nhiều so với các nhánh trước đó. Cắt dưới độ cao đó sẽ tạo ra hai nhóm, nhưng đường cắt được chọn cũng phải có ý nghĩa đối với mục tiêu phân tích.

Một nhà phân tích so sánh liên kết đơn, sử dụng cặp gần nhất giữa các nhóm, với liên kết hoàn chỉnh, sử dụng cặp xa nhất. Mô hình chuỗi dưới liên kết đơn có thể kết nối một cây cầu dài gồm nhiều điểm.

Một nhà nghiên cứu chuẩn hóa các biến số trước khi tính toán khoảng cách vì tuổi tính theo năm và thu nhập tính bằng đô la đóng góp vào các thang số không thể so sánh được.

Tương lai của phân cụm theo cấp bậc

Việc phân cụm theo cấp bậc sẽ dễ dàng được xem xét hơn khi một báo cáo ghép cặp chương trình dendro với các lựa chọn khoảng cách, tỷ lệ và liên kết chính xác, cùng với các bản tóm tắt của các cụm tại các điểm cắt ứng cử viên. Các nhà phân tích có thể so sánh các mức cắt giảm hợp lý trên các mẫu bootstrap hoặc những thay đổi nhỏ trong quá trình tiền xử lý để xem liệu các nhóm có tồn tại hay không. Đối với dữ liệu lớn, các chương trình dendro được lấy mẫu hoặc các phép tính gần đúng có thể mở rộng có thể hữu ích, đồng thời ghi chú rõ ràng cấu trúc nào đã được tóm tắt. Bước hữu ích tiếp theo là xác nhận xem các nhóm có ủng hộ một quyết định thực sự hoặc phân tích tiếp theo hay không. Chỉ riêng sự phân tách nhánh thị giác không nên được coi là bằng chứng của các phạm trù tự nhiên.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Chi phí và ngân sách. Các quyết định về kiến ​​trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
  • Quyết định rõ ràng hơn. Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
  • Kiểm soát chất lượng. Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.

coi chừng

  • Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
  • Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
  • Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.

Các bước tiếp theo

  1. Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
  2. Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
  3. Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
  4. Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Làm bài kiểm tra Phân cụm theo thứ bậc

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

Phân cụm theo cấp bậc là gì?

Phân cụm theo cấp bậc xây dựng một chuỗi các nhóm lồng nhau, thường bằng cách liên tục hợp nhất các cụm gần nhất trong một quy trình kết tụ. Chương trình dendrogram ghi lại thứ tự hợp nhất và độ cao liên kết, cho phép các nhà phân tích kiểm tra một số lần cắt cụm, trong khi kết quả vẫn phụ thuộc vào biểu diễn khoảng cách và quy tắc liên kết.

Việc phân cụm theo cấp bậc kết tụ được xây dựng theo trình tự nào?

Các phương pháp kết tụ bắt đầu bằng các cụm đơn lẻ và hợp nhất các cặp theo từng bước.

Liên kết nào sử dụng cặp liên cụm xa nhất?

Liên kết hoàn chỉnh chiếm khoảng cách tối đa giữa các thành viên của hai cụm.

Một dendrogram hợp nhất chiều cao mã hóa những gì?

Chiều cao phản ánh giá trị của tiêu chí liên kết khi các nhóm tham gia chứ không phải là xác suất.

Tại sao việc tăng chiều cao của dendrogram lại có thể hữu ích?

Khoảng cách lớn có thể thúc đẩy việc cắt giảm ứng viên, nhưng cần được kiểm tra tính ổn định và hữu ích.

Tại sao liên kết đơn có thể tạo ra kiểu chuỗi?

Bởi vì nó xem xét cặp liên cụm gần nhất nên các cầu nối cục bộ liên tiếp có thể tham gia vào một chuỗi.