Đường cong ROC và AUC
Đường cong ROC biểu thị mức độ phân loại phân tách hai lớp trên mọi ngưỡng quyết định có thể có và AUC nén toàn bộ đường cong đó thành một số.
Tổng quan
Together they tell you ranking quality independent of where you draw the cutoff.
Lặn sâu
Đường cong Đặc tính hoạt động của máy thu (ROC) vẽ Tỷ lệ dương tính thực (độ nhạy, trên trục y) so với Tỷ lệ dương tính giả (độ đặc hiệu trừ 1, trên trục x) khi bạn trượt ngưỡng phân loại từ 1 xuống 0. Mỗi ngưỡng cho một điểm; kết nối chúng theo dõi đường cong. Một mô hình xếp hạng mọi mặt tích cực trên mọi tiêu cực nằm ở góc trên bên trái. Diện tích dưới đường cong (AUC) đo tổng diện tích bên dưới đường này, dao động từ 0,5 (đoán ngẫu nhiên, theo đường chéo) đến 1,0 (hoàn hảo). Giải thích hữu ích: AUC bằng với xác suất mà mô hình đạt điểm dương được chọn ngẫu nhiên cao hơn điểm âm được chọn ngẫu nhiên. Thuật ngữ này xuất phát từ việc các nhà khai thác radar trong Thế chiến thứ hai phân biệt tín hiệu với nhiễu.
Hiểu biết kỹ thuật
AUC không phụ thuộc vào ngưỡng vì nó tích hợp hiệu suất trên tất cả các giới hạn, do đó nó không bị ảnh hưởng bởi nơi bạn đặt ranh giới quyết định. Về mặt toán học, nó tương đương với thống kê Mann-Whitney U và bài kiểm tra tổng xếp hạng Wilcoxon, nghĩa là nó chỉ phụ thuộc vào thứ tự xếp hạng của điểm dự đoán chứ không phụ thuộc vào giá trị tuyệt đối của chúng. Điều này làm cho nó ổn định dưới các phép biến đổi điểm đơn điệu nhưng cũng không nhạy cảm với việc hiệu chuẩn: một mô hình được xếp hạng tốt nhưng được hiệu chỉnh kém vẫn có thể đạt AUC cao.
Tác động chiến lược
Quyết định rõ ràng hơn
Nó giúp bạn tách biệt các tuyên bố kỹ thuật rõ ràng khỏi ngôn ngữ tiếp thị.
Chi phí và ngân sách
Bạn có thể đặt các câu hỏi triển khai tốt hơn trước khi chi tiền hoặc thời gian.
Nhóm và quy trình làm việc
Các nhóm có sự hiểu biết chung sẽ đưa ra các quyết định về sản phẩm, chính sách và học tập tốt hơn.
Tương lai của ROC Curves và AUC
ROC-AUC vẫn là số liệu báo cáo mặc định, nhưng những người thực hành ngày càng kết hợp nó với các đường cong Precision-Recall để có dữ liệu mất cân bằng nặng nề, trong đó ROC có thể trông lạc quan một cách khó hiểu. Mong đợi áp dụng rộng rãi hơn AUC một phần (tập trung vào khu vực có độ dương tính giả thấp quan trọng trong hoạt động), phân tích đường cong quyết định và nhạy cảm với chi phí cũng như báo cáo AUC của mỗi nhóm phụ về khoảng cách công bằng bề mặt. Khi các mô hình đưa ra các quyết định thực tế, số liệu hiệu chuẩn và AUC sẽ ngày càng được báo cáo song song thay vì chỉ AUC.
Triển khai trong thế giới thực
So sánh hai mô hình phát hiện gian lận của một ngân hàng bằng AUC của họ để chọn ra mô hình xếp hạng tốt nhất các giao dịch gian lận trên các giao dịch hợp pháp
Đánh giá xét nghiệm chẩn đoán một căn bệnh (ví dụ: phân loại sàng lọc ung thư) trong đó các bác sĩ X quang cần đánh đổi việc phát hiện nhiều trường hợp hơn trước cảnh báo sai
Điều chỉnh ngưỡng của bộ lọc thư rác bằng cách sử dụng đường cong ROC để giữ kết quả dương tính giả (thư hợp pháp bị gắn cờ là thư rác) ở mức rất thấp
Đánh giá mô hình chấm điểm nợ xấu trong đó AUC tóm tắt mức độ phân biệt giữa người đi vay trả nợ và người vỡ nợ
Rủi ro & lan can
Các nhóm khác nhau có thể sử dụng cùng một thuật ngữ một cách khác nhau, vì vậy hãy sớm xác định phạm vi.
Điểm chuẩn có thể trông mạnh mẽ trong khi hiệu suất trong thế giới thực không đồng đều.
Việc bỏ qua các kế hoạch đánh giá và chất lượng dữ liệu thường tạo ra những kết quả mong manh.
Lộ trình thực hiện
Bắt đầu với một định nghĩa đơn giản về kết quả bạn cần.
Chọn một số liệu thành công và một điều kiện thất bại trước khi thử nghiệm.
Chạy một thử nghiệm nhỏ với dữ liệu đại diện chứ không phải một bản demo bóng bẩy.
Tài liệu giúp ích cho ROC Curves và AUC cũng như những phương pháp đơn giản hơn sẽ tốt hơn.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ROC Curves and AUC quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Sự đánh đổi độ lệch-phương sai
Câu hỏi thường gặp
What is ROC Curves and AUC?
Đường cong ROC biểu thị mức độ phân loại phân tách hai lớp trên mọi ngưỡng quyết định có thể có và AUC nén toàn bộ đường cong đó thành một số. Chúng cùng nhau cho bạn biết chất lượng xếp hạng không phụ thuộc vào điểm bạn đưa ra giới hạn.
Đường cong ROC vẽ đồ thị của hai đại lượng nào với nhau?
Đường cong ROC vẽ Tỷ lệ dương tính thực (độ nhạy) trên trục y so với Tỷ lệ dương tính giả (1 - độ đặc hiệu) trên trục x qua các ngưỡng.
Giá trị AUC nào tương ứng với một bộ phân loại hoạt động không tốt hơn việc đoán ngẫu nhiên?
Một trình phân loại ngẫu nhiên theo dõi đường chéo, cho AUC là 0,5. AUC là 1,0 là hoàn hảo và 0,0 có nghĩa là mọi thứ hạng đều bị ngược lại một cách chính xác.
Tại sao AUC được mô tả là 'không phụ thuộc vào ngưỡng'?
AUC tóm tắt toàn bộ đường cong ROC, được tạo bằng cách quét mọi ngưỡng, do đó, nó không phụ thuộc vào bất kỳ điểm cắt nào được chọn.
Đối với một tập dữ liệu mất cân bằng nặng nề, đường cong nào thường được đề xuất bên cạnh hoặc thay vì ROC vì ROC có thể trông quá lạc quan?
Đối với các vấn đề dương tính hiếm gặp, số lượng lớn các kết quả âm tính thực sự giữ cho Tỷ lệ dương tính giả ở mức thấp, làm tăng ROC. Các đường cong Precision-Recall tập trung vào lớp tích cực và bộc lộ hiệu suất một cách trung thực hơn.