ΕπόμενοΕπόμενος οδηγός
Μέση Ακρίβεια και PR-AUC
Τεχνικά
ΟΔΗΓΟΣ Βασικών Αρχών
Καμπύλες ROC και AUC
Μια καμπύλη ROC σχεδιάζει πόσο καλά ένας ταξινομητής διαχωρίζει δύο κλάσεις σε κάθε πιθανό όριο απόφασης και η AUC συμπιέζει αυτήν την ολόκληρη καμπύλη σε έναν αριθμό.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
Μαζί σας λένε την κατάταξη της ποιότητας ανεξάρτητα από το πού σχεδιάζετε την αποκοπή.
Βαθιά κατάδυση
Μια καμπύλη Λειτουργικού Χαρακτηριστικού Δέκτη (ROC) σχεδιάζει τον πραγματικό θετικό ρυθμό (ευαισθησία, στον άξονα y) έναντι του ψευδώς θετικού ποσοστού (1 μείον ειδικότητα, στον άξονα x) καθώς ολισθαίνεις το όριο ταξινόμησης από το 1 στο 0. Κάθε όριο δίνει έναν βαθμό. η σύνδεσή τους διαγράφει την καμπύλη. Ένα μοντέλο που κατατάσσει κάθε θετικό πάνω από κάθε αρνητικό αγκαλιάζει την επάνω αριστερή γωνία. Η περιοχή κάτω από την καμπύλη (AUC) μετρά τη συνολική επιφάνεια κάτω από αυτή τη γραμμή, που κυμαίνεται από 0,5 (τυχαία εικασία, η διαγώνιος) έως 1,0 (τέλεια). Μια εύχρηστη ερμηνεία: Η AUC ισούται με την πιθανότητα το μοντέλο να σκοράρει ένα τυχαία επιλεγμένο θετικό υψηλότερο από ένα τυχαία επιλεγμένο αρνητικό. Ο όρος προέρχεται από τους χειριστές ραντάρ του Β 'Παγκοσμίου Πολέμου που διακρίνουν το σήμα από το θόρυβο.
Υλοποίηση σε πραγματικό κόσμο
Σύγκριση δύο μοντέλων ανίχνευσης απάτης για μια τράπεζα από την AUC της για να επιλέξετε αυτό που κατατάσσει καλύτερα τις δόλιες συναλλαγές πάνω από τις νόμιμες
Αξιολόγηση ενός διαγνωστικού τεστ για μια ασθένεια (π.χ., ένας ταξινομητής προσυμπτωματικού ελέγχου καρκίνου) όπου οι ακτινολόγοι πρέπει να ανταλλάξουν τη σύλληψη περισσότερων περιπτώσεων με ψευδείς συναγερμούς
Συντονισμός του ορίου ενός φίλτρου ανεπιθύμητης αλληλογραφίας χρησιμοποιώντας την καμπύλη ROC για να διατηρούνται τα ψευδώς θετικά (νόμιμα μηνύματα που έχουν επισημανθεί ως ανεπιθύμητη) πολύ χαμηλά
Συγκριτική αξιολόγηση ενός μοντέλου βαθμολόγησης πιστωτικής αθέτησης, όπου η AUC συνοψίζει πόσο καλά διαχωρίζει τους δανειολήπτες που αποπληρώνουν από αυτούς που αθετούν
Το μέλλον των καμπυλών ROC και AUC
Το ROC-AUC παραμένει μια προεπιλεγμένη μέτρηση αναφοράς, αλλά οι επαγγελματίες το συνδυάζουν όλο και περισσότερο με τις καμπύλες Precision-Recall για εξαιρετικά ανισόρροπα δεδομένα, όπου το ROC μπορεί να φαίνεται απατηλά αισιόδοξο. Αναμένετε ευρύτερη υιοθέτηση της μερικής AUC (με εστίαση στην περιοχή χαμηλών ψευδώς θετικών που έχει σημασία από λειτουργική άποψη), ανάλυση κόστους και καμπύλης απόφασης και αναφορά AUC ανά υποομάδα για να επιφανειακά κενά δικαιοσύνης. Καθώς τα μοντέλα τροφοδοτούν πραγματικές αποφάσεις, οι μετρήσεις βαθμονόμησης και η AUC θα αναφέρονται όλο και περισσότερο δίπλα-δίπλα και όχι μόνο η AUC.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Σαφέστερες αποφάσεις. Σας βοηθά να διαχωρίσετε σαφείς τεχνικούς ισχυρισμούς από τη γλώσσα μάρκετινγκ.
- Κόστος και προϋπολογισμός. Μπορείτε να κάνετε καλύτερες ερωτήσεις εφαρμογής προτού ξοδέψετε χρήματα ή χρόνο.
- Ομάδα και ροή εργασίας. Οι ομάδες με κοινή κατανόηση λαμβάνουν καλύτερες αποφάσεις για προϊόντα, πολιτικές και μάθηση.
Προσέξτε
- Διαφορετικές ομάδες μπορεί να χρησιμοποιούν τον ίδιο όρο με διαφορετικό τρόπο, επομένως ορίστε το πεδίο εφαρμογής νωρίς.
- Τα σημεία αναφοράς μπορεί να φαίνονται ισχυρά ενώ η απόδοση στον πραγματικό κόσμο είναι άνιση.
- Η αγνόηση της ποιότητας των δεδομένων και των σχεδίων αξιολόγησης δημιουργεί συχνά εύθραυστα αποτελέσματα.
Επόμενα βήματα
- Ξεκινήστε με έναν ορισμό σε απλή γλώσσα του αποτελέσματος που χρειάζεστε.
- Επιλέξτε μία μέτρηση επιτυχίας και μία συνθήκη αποτυχίας πριν από τη δοκιμή.
- Εκτελέστε ένα μικρό πιλότο με αντιπροσωπευτικά δεδομένα, όχι ένα εκλεπτυσμένο σετ επίδειξης.
- Τεκμηριώστε πού βοηθούν οι καμπύλες ROC και η AUC και όπου οι απλούστερες μέθοδοι είναι καλύτερες.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the ROC Curves and AUC quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
Τι είναι οι καμπύλες ROC και η AUC;
Μια καμπύλη ROC σχεδιάζει πόσο καλά ένας ταξινομητής διαχωρίζει δύο κλάσεις σε κάθε πιθανό όριο απόφασης και η AUC συμπιέζει αυτήν την ολόκληρη καμπύλη σε έναν αριθμό. Μαζί σας λένε την κατάταξη της ποιότητας ανεξάρτητα από το πού σχεδιάζετε την αποκοπή.
Ποιες δύο ποσότητες σχεδιάζει μια καμπύλη ROC μεταξύ τους;
Μια καμπύλη ROC σχεδιάζει τον πραγματικό θετικό ρυθμό (ευαισθησία) στον άξονα y έναντι του ψευδώς θετικού ποσοστού (1 - ειδικότητα) στον άξονα x κατά μήκος των ορίων.
Ποια τιμή AUC αντιστοιχεί σε έναν ταξινομητή που δεν έχει καλύτερη απόδοση από την τυχαία εικασία;
Ένας τυχαίος ταξινομητής ανιχνεύει τη διαγώνια γραμμή, δίνοντας AUC 0,5. Μια AUC 1,0 είναι τέλεια και 0,0 σημαίνει ότι παίρνει κάθε κατάταξη ακριβώς αντίστροφα.
Γιατί η AUC περιγράφεται ως «ανεξάρτητη από το κατώφλι»;
Η AUC συνοψίζει ολόκληρη την καμπύλη ROC, η οποία δημιουργείται σαρώνοντας κάθε όριο, επομένως δεν εξαρτάται από καμία επιλεγμένη αποκοπή.
Για ένα εξαιρετικά μη ισορροπημένο σύνολο δεδομένων, ποια καμπύλη συνιστάται συχνά δίπλα ή αντί του ROC επειδή το ROC μπορεί να φαίνεται υπερβολικά αισιόδοξο;
Σε σπάνια θετικά προβλήματα, ο μεγάλος αριθμός των αληθινών αρνητικών διατηρούν χαμηλό το ψευδώς θετικό ποσοστό, διογκώνοντας το ROC. Οι καμπύλες Ακρίβειας-Ανάκλησης επικεντρώνονται στη θετική κατηγορία και αποκαλύπτουν την απόδοση πιο ειλικρινά.
Why can a model have a high ROC-AUC but poorly calibrated probability estimates?
The guide notes that AUC depends on rank order and is insensitive to calibration; monotonic transformations can preserve rankings while altering the probability scale.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα