Tiếp theoHướng dẫn tiếp theo
Độ chính xác trung bình và PR-AUC
kỹ thuật
HƯỚNG DẪN cơ bản
Đường cong ROC và AUC
Đường cong ROC biểu thị mức độ phân loại phân tách hai lớp trên mọi ngưỡng quyết định có thể có và AUC nén toàn bộ đường cong đó thành một số.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
Together they tell you ranking quality independent of where you draw the cutoff.
Lặn sâu
Đường cong Đặc tính hoạt động của máy thu (ROC) vẽ Tỷ lệ dương tính thực (độ nhạy, trên trục y) so với Tỷ lệ dương tính giả (độ đặc hiệu trừ 1, trên trục x) khi bạn trượt ngưỡng phân loại từ 1 xuống 0. Mỗi ngưỡng cho một điểm; kết nối chúng theo dõi đường cong. Một mô hình xếp hạng mọi mặt tích cực trên mọi tiêu cực nằm ở góc trên bên trái. Diện tích dưới đường cong (AUC) đo tổng diện tích bên dưới đường này, dao động từ 0,5 (đoán ngẫu nhiên, theo đường chéo) đến 1,0 (hoàn hảo). Giải thích hữu ích: AUC bằng với xác suất mà mô hình đạt điểm dương được chọn ngẫu nhiên cao hơn điểm âm được chọn ngẫu nhiên. Thuật ngữ này xuất phát từ việc các nhà khai thác radar trong Thế chiến thứ hai phân biệt tín hiệu với nhiễu.
Triển khai trong thế giới thực
So sánh hai mô hình phát hiện gian lận của một ngân hàng bằng AUC của họ để chọn ra mô hình xếp hạng tốt nhất các giao dịch gian lận trên các giao dịch hợp pháp
Đánh giá xét nghiệm chẩn đoán một căn bệnh (ví dụ: phân loại sàng lọc ung thư) trong đó các bác sĩ X quang cần đánh đổi việc phát hiện nhiều trường hợp hơn trước cảnh báo sai
Điều chỉnh ngưỡng của bộ lọc thư rác bằng cách sử dụng đường cong ROC để giữ kết quả dương tính giả (thư hợp pháp bị gắn cờ là thư rác) ở mức rất thấp
Đánh giá mô hình chấm điểm nợ xấu trong đó AUC tóm tắt mức độ phân biệt giữa người đi vay trả nợ và người vỡ nợ
Tương lai của ROC Curves và AUC
ROC-AUC vẫn là số liệu báo cáo mặc định, nhưng những người thực hành ngày càng kết hợp nó với các đường cong Precision-Recall để có dữ liệu mất cân bằng nặng nề, trong đó ROC có thể trông lạc quan một cách khó hiểu. Mong đợi áp dụng rộng rãi hơn AUC một phần (tập trung vào khu vực có độ dương tính giả thấp quan trọng trong hoạt động), phân tích đường cong quyết định và nhạy cảm với chi phí cũng như báo cáo AUC của mỗi nhóm phụ về khoảng cách công bằng bề mặt. Khi các mô hình đưa ra các quyết định thực tế, số liệu hiệu chuẩn và AUC sẽ ngày càng được báo cáo song song thay vì chỉ AUC.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Quyết định rõ ràng hơn. Nó giúp bạn tách biệt các tuyên bố kỹ thuật rõ ràng khỏi ngôn ngữ tiếp thị.
- Chi phí và ngân sách. Bạn có thể đặt các câu hỏi triển khai tốt hơn trước khi chi tiền hoặc thời gian.
- Nhóm và quy trình làm việc. Các nhóm có sự hiểu biết chung sẽ đưa ra các quyết định về sản phẩm, chính sách và học tập tốt hơn.
coi chừng
- Các nhóm khác nhau có thể sử dụng cùng một thuật ngữ một cách khác nhau, vì vậy hãy sớm xác định phạm vi.
- Điểm chuẩn có thể trông mạnh mẽ trong khi hiệu suất trong thế giới thực không đồng đều.
- Việc bỏ qua các kế hoạch đánh giá và chất lượng dữ liệu thường tạo ra những kết quả mong manh.
Các bước tiếp theo
- Bắt đầu với một định nghĩa đơn giản về kết quả bạn cần.
- Chọn một số liệu thành công và một điều kiện thất bại trước khi thử nghiệm.
- Chạy một thử nghiệm nhỏ với dữ liệu đại diện chứ không phải một bản demo bóng bẩy.
- Tài liệu giúp ích cho ROC Curves và AUC cũng như những phương pháp đơn giản hơn sẽ tốt hơn.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the ROC Curves and AUC quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
What is ROC Curves and AUC?
Đường cong ROC biểu thị mức độ phân loại phân tách hai lớp trên mọi ngưỡng quyết định có thể có và AUC nén toàn bộ đường cong đó thành một số. Chúng cùng nhau cho bạn biết chất lượng xếp hạng không phụ thuộc vào điểm bạn đưa ra giới hạn.
Đường cong ROC vẽ đồ thị của hai đại lượng nào với nhau?
Đường cong ROC vẽ Tỷ lệ dương tính thực (độ nhạy) trên trục y so với Tỷ lệ dương tính giả (1 - độ đặc hiệu) trên trục x qua các ngưỡng.
Giá trị AUC nào tương ứng với một bộ phân loại hoạt động không tốt hơn việc đoán ngẫu nhiên?
Một trình phân loại ngẫu nhiên theo dõi đường chéo, cho AUC là 0,5. AUC là 1,0 là hoàn hảo và 0,0 có nghĩa là mọi thứ hạng đều bị ngược lại một cách chính xác.
Tại sao AUC được mô tả là 'không phụ thuộc vào ngưỡng'?
AUC tóm tắt toàn bộ đường cong ROC, được tạo bằng cách quét mọi ngưỡng, do đó, nó không phụ thuộc vào bất kỳ điểm cắt nào được chọn.
Đối với một tập dữ liệu mất cân bằng nặng nề, đường cong nào thường được đề xuất bên cạnh hoặc thay vì ROC vì ROC có thể trông quá lạc quan?
Đối với các vấn đề dương tính hiếm gặp, số lượng lớn các kết quả âm tính thực sự giữ cho Tỷ lệ dương tính giả ở mức thấp, làm tăng ROC. Các đường cong Precision-Recall tập trung vào lớp tích cực và bộc lộ hiệu suất một cách trung thực hơn.
Why can a model have a high ROC-AUC but poorly calibrated probability estimates?
The guide notes that AUC depends on rank order and is insensitive to calibration; monotonic transformations can preserve rankings while altering the probability scale.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này