Ma trận nhầm lẫn
Ma trận nhầm lẫn là một bảng đơn giản chia các dự đoán của bộ phân loại thành số lượng chính xác và không chính xác cho mỗi lớp.
Tổng quan
It is the raw scoreboard from which nearly every other classification metric is calculated.
Lặn sâu
Ma trận nhầm lẫn là một lưới so sánh các nhãn được dự đoán với các nhãn thực tế. Đối với phân loại nhị phân, nó có bốn ô: Kết quả dương tính thực (dương tính được dự đoán chính xác), Kết quả âm tính thực (kết quả âm tính được dự đoán chính xác), Kết quả dương tính giả (kết quả âm tính bị gắn cờ dương tính sai, 'Lỗi loại I') và Âm tính giả (kết quả dương tính bị bỏ sót, 'Lỗi loại II'). Từ bốn số này, bạn rút ra độ chính xác ((TP+TN)/tổng), độ chính xác (TP/(TP+FP)), thu hồi hoặc độ nhạy (TP/(TP+FN)), độ đặc hiệu (TN/(TN+FP)) và điểm F1 (trung bình hài hòa của độ chính xác và thu hồi). Đối với các bài toán có nhiều hơn hai lớp, ma trận trở thành N x N, trong đó đường chéo chứa các dự đoán chính xác và các ô ngoài đường chéo tiết lộ chính xác lớp nào bị nhầm lẫn với lớp nào khác.
Hiểu biết kỹ thuật
Sức mạnh của ma trận là nó bảo toàn cấu trúc của các lỗi mà một con số có độ chính xác duy nhất ẩn giấu. Hai mô hình có độ chính xác 90% giống hệt nhau có thể có tỷ lệ âm tính giả cực kỳ khác nhau, điều này rất quan trọng khi chẩn đoán ung thư bị bỏ sót tốn nhiều chi phí hơn cảnh báo sai. Theo quy ước, các hàng thường đại diện cho các lớp thực và các cột được dự đoán là các lớp (mặc dù một số thư viện lật ngược điều này), vì vậy, hãy luôn kiểm tra nhãn trục trước khi tính toán độ chính xác so với thu hồi từ các ô.
Tác động chiến lược
Quyết định rõ ràng hơn
Nó giúp bạn tách biệt các tuyên bố kỹ thuật rõ ràng khỏi ngôn ngữ tiếp thị.
Chi phí và ngân sách
Bạn có thể đặt các câu hỏi triển khai tốt hơn trước khi chi tiền hoặc thời gian.
Nhóm và quy trình làm việc
Các nhóm có sự hiểu biết chung sẽ đưa ra các quyết định về sản phẩm, chính sách và học tập tốt hơn.
Tương lai của ma trận nhầm lẫn
Các ma trận nhầm lẫn sẽ vẫn là nền tảng, nhưng công cụ đang làm cho chúng trở nên phong phú hơn: bản đồ nhiệt tương tác, chuẩn hóa, phân tích theo từng lớp cho các bộ nhãn lớn và ma trận tính trọng số chi phí nhân từng loại lỗi với hình phạt trong thế giới thực của nó. Trong kiểm tra tính công bằng, giờ đây những người thực hành tính toán các ma trận nhầm lẫn riêng biệt cho mỗi nhóm nhỏ nhân khẩu học để phát hiện tỷ lệ lỗi không đồng đều. Mong đợi sự tích hợp liên tục vào bảng điều khiển mô hình trong đó việc nhấp vào một ô sẽ hiển thị các ví dụ thực tế bị phân loại sai để kiểm tra.
Triển khai trong thế giới thực
Chẩn đoán vị trí bộ phân loại hình ảnh không thành công bằng cách nhận thấy nó thường nhầm lẫn giữa chó husky với chó sói trong các ô ngoài đường chéo
Kiểm tra công cụ sàng lọc y tế bằng cách kiểm tra âm tính giả - bệnh nhân mắc bệnh mà mô hình tuyên bố là khỏe mạnh
So sánh hai bộ lọc thư rác có cùng độ chính xác nhưng khác nhau về số lượng email thực mà chúng chặn nhầm (dương tính giả)
Đánh giá trình nhận dạng chữ số viết tay nhiều lớp để thấy rằng số 4 và số 9 thường bị nhầm lẫn với nhau nhất
Rủi ro & lan can
Các nhóm khác nhau có thể sử dụng cùng một thuật ngữ một cách khác nhau, vì vậy hãy sớm xác định phạm vi.
Điểm chuẩn có thể trông mạnh mẽ trong khi hiệu suất trong thế giới thực không đồng đều.
Việc bỏ qua các kế hoạch đánh giá và chất lượng dữ liệu thường tạo ra những kết quả mong manh.
Lộ trình thực hiện
Bắt đầu với một định nghĩa đơn giản về kết quả bạn cần.
Chọn một số liệu thành công và một điều kiện thất bại trước khi thử nghiệm.
Chạy một thử nghiệm nhỏ với dữ liệu đại diện chứ không phải một bản demo bóng bẩy.
Tài liệu giúp Ma trận nhầm lẫn hữu ích và nơi các phương pháp đơn giản hơn sẽ tốt hơn.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Confusion Matrices quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Xác thực chéo
Câu hỏi thường gặp
What is Confusion Matrices?
Ma trận nhầm lẫn là một bảng đơn giản chia các dự đoán của bộ phân loại thành số lượng chính xác và không chính xác cho mỗi lớp. Đây là bảng điểm thô mà từ đó gần như mọi chỉ số phân loại khác được tính toán.
Trong ma trận nhầm lẫn nhị phân, Âm tính Sai là gì?
Âm tính giả là một kết quả dương tính thực sự mà mô hình đã bỏ sót khi gắn nhãn âm tính - ví dụ: một bệnh nhân bị bệnh được tuyên bố là khỏe mạnh.
Số liệu nào đo lường tỷ lệ các kết quả tích cực thực tế mà mô hình xác định chính xác?
Nhớ lại (còn được gọi là độ nhạy hoặc tỷ lệ dương tính thực sự) là TP / (TP + FN) - tỷ lệ của các mặt tích cực thực sự mà mô hình thu được.
Trong ma trận nhầm lẫn của một bài toán có 5 lớp, các ô chéo biểu thị điều gì?
Trong ma trận N-by-N, đường chéo chứa các trường hợp lớp được dự đoán khớp với lớp thực - tức là dự đoán chính xác.
Tại sao độ chính xác có thể gây hiểu nhầm nếu không có ma trận nhầm lẫn?
Hai mô hình có độ chính xác như nhau có thể phân bổ lỗi rất khác nhau; ma trận nhầm lẫn cho biết các lỗi chủ yếu là cảnh báo sai hay sai sót.
Điểm F1 là giá trị trung bình hài hòa của hai chỉ số nào?
F1 kết hợp độ chính xác và thu hồi thành một số bằng cách sử dụng giá trị trung bình hài hòa, điều này sẽ xử lý sự mất cân bằng lớn giữa hai số.