Tiếp theoHướng dẫn tiếp theo
Xác thực chéo
Nguyên tắc cơ bản
HƯỚNG DẪN cơ bản
Ma trận nhầm lẫn
Ma trận nhầm lẫn là một bảng đơn giản chia các dự đoán của bộ phân loại thành số lượng chính xác và không chính xác cho mỗi lớp.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
Đây là bảng điểm gốc từ đó hầu hết các chỉ số phân loại khác được tính toán.
Lặn sâu
Ma trận nhầm lẫn là một lưới so sánh các nhãn được dự đoán với các nhãn thực tế. Đối với phân loại nhị phân, nó có bốn ô: Kết quả dương tính thực (dương tính được dự đoán chính xác), Kết quả âm tính thực (kết quả âm tính được dự đoán chính xác), Kết quả dương tính giả (kết quả âm tính bị gắn cờ dương tính sai, 'Lỗi loại I') và Âm tính giả (kết quả dương tính bị bỏ sót, 'Lỗi loại II'). Từ bốn số này, bạn rút ra độ chính xác ((TP+TN)/tổng), độ chính xác (TP/(TP+FP)), thu hồi hoặc độ nhạy (TP/(TP+FN)), độ đặc hiệu (TN/(TN+FP)) và điểm F1 (trung bình hài hòa của độ chính xác và thu hồi). Đối với các bài toán có nhiều hơn hai lớp, ma trận trở thành N x N, trong đó đường chéo chứa các dự đoán chính xác và các ô ngoài đường chéo tiết lộ chính xác lớp nào bị nhầm lẫn với lớp nào khác.
Triển khai trong thế giới thực
Chẩn đoán vị trí bộ phân loại hình ảnh không thành công bằng cách nhận thấy nó thường nhầm lẫn giữa chó husky với chó sói trong các ô ngoài đường chéo
Kiểm tra công cụ sàng lọc y tế bằng cách kiểm tra âm tính giả - bệnh nhân mắc bệnh mà mô hình tuyên bố là khỏe mạnh
So sánh hai bộ lọc thư rác có cùng độ chính xác nhưng khác nhau về số lượng email thực mà chúng chặn nhầm (dương tính giả)
Đánh giá trình nhận dạng chữ số viết tay nhiều lớp để thấy rằng số 4 và số 9 thường bị nhầm lẫn với nhau nhất
Tương lai của ma trận nhầm lẫn
Các ma trận nhầm lẫn sẽ vẫn là nền tảng, nhưng công cụ đang làm cho chúng trở nên phong phú hơn: bản đồ nhiệt tương tác, chuẩn hóa, phân tích theo từng lớp cho các bộ nhãn lớn và ma trận tính trọng số chi phí nhân từng loại lỗi với hình phạt trong thế giới thực của nó. Trong kiểm tra tính công bằng, giờ đây những người thực hành tính toán các ma trận nhầm lẫn riêng biệt cho mỗi nhóm nhỏ nhân khẩu học để phát hiện tỷ lệ lỗi không đồng đều. Mong đợi sự tích hợp liên tục vào bảng điều khiển mô hình trong đó việc nhấp vào một ô sẽ hiển thị các ví dụ thực tế bị phân loại sai để kiểm tra.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Quyết định rõ ràng hơn. Nó giúp bạn tách biệt các tuyên bố kỹ thuật rõ ràng khỏi ngôn ngữ tiếp thị.
- Chi phí và ngân sách. Bạn có thể đặt các câu hỏi triển khai tốt hơn trước khi chi tiền hoặc thời gian.
- Nhóm và quy trình làm việc. Các nhóm có sự hiểu biết chung sẽ đưa ra các quyết định về sản phẩm, chính sách và học tập tốt hơn.
coi chừng
- Các nhóm khác nhau có thể sử dụng cùng một thuật ngữ một cách khác nhau, vì vậy hãy sớm xác định phạm vi.
- Điểm chuẩn có thể trông mạnh mẽ trong khi hiệu suất trong thế giới thực không đồng đều.
- Việc bỏ qua các kế hoạch đánh giá và chất lượng dữ liệu thường tạo ra những kết quả mong manh.
Các bước tiếp theo
- Bắt đầu với một định nghĩa đơn giản về kết quả bạn cần.
- Chọn một số liệu thành công và một điều kiện thất bại trước khi thử nghiệm.
- Chạy một thử nghiệm nhỏ với dữ liệu đại diện chứ không phải một bản demo bóng bẩy.
- Tài liệu giúp Ma trận nhầm lẫn hữu ích và nơi các phương pháp đơn giản hơn sẽ tốt hơn.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Tham gia bài kiểm tra Ma trận nhầm lẫn
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
Ma trận nhầm lẫn là gì?
Ma trận nhầm lẫn là một bảng đơn giản chia các dự đoán của bộ phân loại thành số lượng chính xác và không chính xác cho mỗi lớp. Đây là bảng điểm thô mà từ đó gần như mọi chỉ số phân loại khác được tính toán.
Trong ma trận nhầm lẫn nhị phân, Âm tính Sai là gì?
Âm tính giả là một kết quả dương tính thực sự mà mô hình đã bỏ sót khi gắn nhãn âm tính - ví dụ: một bệnh nhân bị bệnh được tuyên bố là khỏe mạnh.
Số liệu nào đo lường tỷ lệ các kết quả tích cực thực tế mà mô hình xác định chính xác?
Nhớ lại (còn được gọi là độ nhạy hoặc tỷ lệ dương tính thực sự) là TP / (TP + FN) - tỷ lệ của các mặt tích cực thực sự mà mô hình thu được.
Trong ma trận nhầm lẫn của một bài toán có 5 lớp, các ô chéo biểu thị điều gì?
Trong ma trận N-by-N, đường chéo chứa các trường hợp lớp được dự đoán khớp với lớp thực - tức là dự đoán chính xác.
Tại sao độ chính xác có thể gây hiểu nhầm nếu không có ma trận nhầm lẫn?
Hai mô hình có độ chính xác như nhau có thể phân bổ lỗi rất khác nhau; ma trận nhầm lẫn cho biết các lỗi chủ yếu là cảnh báo sai hay sai sót.
Điểm F1 là giá trị trung bình hài hòa của hai chỉ số nào?
F1 kết hợp độ chính xác và thu hồi thành một số bằng cách sử dụng giá trị trung bình hài hòa, điều này sẽ xử lý sự mất cân bằng lớn giữa hai số.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này