Tiếp theoHướng dẫn tiếp theo
Phân cụm dịch chuyển trung bình
kỹ thuật
HƯỚNG DẪN KỸ THUẬT
Phân cụm theo cấp bậc xây dựng một chuỗi các nhóm lồng nhau, thường bằng cách liên tục hợp nhất các cụm gần nhất trong một quy trình kết tụ.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Chương trình dendrogram ghi lại thứ tự hợp nhất và độ cao liên kết, cho phép các nhà phân tích kiểm tra một số lần cắt cụm, trong khi kết quả vẫn phụ thuộc vào biểu diễn khoảng cách và quy tắc liên kết.
Phân cụm theo cấp bậc thể hiện mối quan hệ giữa các quan sát ở nhiều cấp độ thay vì chỉ tạo ra một phân vùng. Trong phân cụm kết tụ, mỗi quan sát bắt đầu trong cụm riêng của nó. Thuật toán liên tục hợp nhất cặp cụm được đánh giá gần nhất theo quy tắc liên kết cho đến khi còn lại một cụm hoặc đạt đến điều kiện dừng. Các phương pháp chia rẽ bắt đầu với một nhóm và chia nhỏ nó ra, mặc dù các phương pháp tổng hợp phổ biến hơn. Liên kết xác định khoảng cách giữa các cụm. Liên kết đơn chiếm khoảng cách theo cặp tối thiểu, có thể kết nối các nhóm kéo dài thông qua một chuỗi các điểm lân cận. Liên kết hoàn chỉnh chiếm khoảng cách tối đa theo cặp, ưu tiên các nhóm chặt chẽ hơn nhưng lại phản ứng với các thành viên ở xa. Liên kết trung bình tính khoảng cách theo cặp. Liên kết phường hợp nhất các cụm để giảm thiểu sự gia tăng tổng bình phương trong cụm và được gắn với hình học Euclide. Những lựa chọn này có thể dẫn đến những cây khác nhau từ cùng một quan sát. Một dendrogram trực quan hóa hệ thống phân cấp. Các lá thể hiện các quan sát và các phép nối nhánh cho biết cụm nào hợp nhất và khoảng cách hoặc chi phí liên kết là bao nhiêu. Cắt cây ở độ cao đã chọn sẽ tạo ra sự phân cụm phẳng; chiều cao không tự động là ngưỡng có ý nghĩa thống kê. Khoảng cách lớn theo chiều dọc có thể gợi ý cắt giảm ứng viên, nhưng tính ổn định, tính hữu dụng của nhóm và bối cảnh miền cũng quan trọng. Chương trình dendrogram có thể trở nên không thể đọc được đối với các tập dữ liệu lớn và việc triển khai có thể khác nhau trong cách xử lý ràng buộc. Khoảng cách và tỷ lệ ảnh hưởng mạnh mẽ đến kết quả. Một đối tượng có phạm vi số lớn hơn nhiều có thể lấn át khoảng cách Euclide trừ khi việc chia tỷ lệ là phù hợp. Phương pháp này có thể tốn kém về mặt tính toán đối với các tập dữ liệu lớn và nhiều quy trình kết tụ không thể gán các quan sát mới một cách tự nhiên cho cây hiện có mà không có phần mở rộng riêng. Chọn khoảng cách và mối liên kết phù hợp với dữ liệu, sau đó đánh giá mức độ nhạy cảm đối với những quyết định đó. Hệ thống phân cấp là cấu trúc mô tả dưới một hình học cụ thể, không phải là bằng chứng cho thấy bản chất chứa một tập hợp các nhóm chính xác.
Một nhóm giả định bắt đầu với một cụm cho mỗi khách hàng và áp dụng liên kết trung bình, hợp nhất cặp có khoảng cách giữa các cụm trung bình nhỏ nhất ở mỗi bước.
Sơ đồ dendro hiển thị hai nhánh lớn hợp nhất ở độ cao lớn hơn nhiều so với các nhánh trước đó. Cắt dưới độ cao đó sẽ tạo ra hai nhóm, nhưng đường cắt được chọn cũng phải có ý nghĩa đối với mục tiêu phân tích.
Một nhà phân tích so sánh liên kết đơn, sử dụng cặp gần nhất giữa các nhóm, với liên kết hoàn chỉnh, sử dụng cặp xa nhất. Mô hình chuỗi dưới liên kết đơn có thể kết nối một cây cầu dài gồm nhiều điểm.
Một nhà nghiên cứu chuẩn hóa các biến số trước khi tính toán khoảng cách vì tuổi tính theo năm và thu nhập tính bằng đô la đóng góp vào các thang số không thể so sánh được.
Việc phân cụm theo cấp bậc sẽ dễ dàng được xem xét hơn khi một báo cáo ghép cặp chương trình dendro với các lựa chọn khoảng cách, tỷ lệ và liên kết chính xác, cùng với các bản tóm tắt của các cụm tại các điểm cắt ứng cử viên. Các nhà phân tích có thể so sánh các mức cắt giảm hợp lý trên các mẫu bootstrap hoặc những thay đổi nhỏ trong quá trình tiền xử lý để xem liệu các nhóm có tồn tại hay không. Đối với dữ liệu lớn, các chương trình dendro được lấy mẫu hoặc các phép tính gần đúng có thể mở rộng có thể hữu ích, đồng thời ghi chú rõ ràng cấu trúc nào đã được tóm tắt. Bước hữu ích tiếp theo là xác nhận xem các nhóm có ủng hộ một quyết định thực sự hoặc phân tích tiếp theo hay không. Chỉ riêng sự phân tách nhánh thị giác không nên được coi là bằng chứng của các phạm trù tự nhiên.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Phân cụm theo cấp bậc xây dựng một chuỗi các nhóm lồng nhau, thường bằng cách liên tục hợp nhất các cụm gần nhất trong một quy trình kết tụ. Chương trình dendrogram ghi lại thứ tự hợp nhất và độ cao liên kết, cho phép các nhà phân tích kiểm tra một số lần cắt cụm, trong khi kết quả vẫn phụ thuộc vào biểu diễn khoảng cách và quy tắc liên kết.
Các phương pháp kết tụ bắt đầu bằng các cụm đơn lẻ và hợp nhất các cặp theo từng bước.
Liên kết hoàn chỉnh chiếm khoảng cách tối đa giữa các thành viên của hai cụm.
Chiều cao phản ánh giá trị của tiêu chí liên kết khi các nhóm tham gia chứ không phải là xác suất.
Khoảng cách lớn có thể thúc đẩy việc cắt giảm ứng viên, nhưng cần được kiểm tra tính ổn định và hữu ích.
Bởi vì nó xem xét cặp liên cụm gần nhất nên các cầu nối cục bộ liên tiếp có thể tham gia vào một chuỗi.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Phân cụm dịch chuyển trung bình
kỹ thuật