ΕπόμενοΕπόμενος οδηγός
Διασταυρούμενη επικύρωση
Βασικές αρχές
ΟΔΗΓΟΣ Βασικών Αρχών
Πίνακες σύγχυσης
Ένας πίνακας σύγχυσης είναι ένας απλός πίνακας που χωρίζει τις προβλέψεις ενός ταξινομητή σε σωστές και λανθασμένες μετρήσεις για κάθε τάξη.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
Είναι ο ακατέργαστος πίνακας αποτελεσμάτων από τον οποίο υπολογίζεται σχεδόν κάθε άλλη μέτρηση ταξινόμησης.
Βαθιά κατάδυση
Ένας πίνακας σύγχυσης είναι ένα πλέγμα που συγκρίνει τις προβλεπόμενες ετικέτες με τις πραγματικές ετικέτες. Για δυαδική ταξινόμηση έχει τέσσερα κελιά: True Positives (σωστά προβλεφθεί θετικό), True Negatives (σωστά προβλεφθεί αρνητικό), False Positives (αρνητικά λανθασμένα επισημασμένα θετικά, ένα «σφάλμα τύπου I») και False Negatives (θετικά που χάθηκαν, ένα «σφάλμα τύπου II»). Από αυτούς τους τέσσερις αριθμούς προκύπτει η ακρίβεια ((TP+TN)/σύνολο), η ακρίβεια (TP/(TP+FP)), η ανάκληση ή η ευαισθησία (TP/(TP+FN)), η ειδικότητα (TN/(TN+FP)) και η βαθμολογία F1 (ο αρμονικός μέσος όρος ακρίβειας και ανάκλησης). Για προβλήματα με περισσότερες από δύο κλάσεις, ο πίνακας γίνεται N-by-N, όπου η διαγώνιος περιέχει σωστές προβλέψεις και τα εκτός διαγώνια κελιά αποκαλύπτουν ακριβώς ποιες κλάσεις μπερδεύονται για ποιες άλλες.
Υλοποίηση σε πραγματικό κόσμο
Διάγνωση όπου αποτυγχάνει ένας ταξινομητής εικόνας βλέποντας ότι συχνά συγχέει τα χάσκι με τους λύκους στα εκτός διαγώνια κελιά
Έλεγχος ενός εργαλείου ιατρικού προσυμπτωματικού ελέγχου εξετάζοντας ψευδώς αρνητικά - ασθενείς με τη νόσο που το μοντέλο δήλωσε υγιείς
Σύγκριση δύο φίλτρων ανεπιθύμητης αλληλογραφίας που μοιράζονται την ίδια ακρίβεια αλλά διαφέρουν ως προς τον αριθμό των πραγματικών μηνυμάτων ηλεκτρονικού ταχυδρομείου που μπλοκάρουν εσφαλμένα (ψευδώς θετικά)
Αξιολογώντας έναν χειρόγραφο αναγνωριστικό ψηφίων πολλαπλών τάξεων για να διαπιστώσετε ότι τα 4 και τα 9 συχνά μπερδεύονται μεταξύ τους
Το μέλλον των πινάκων σύγχυσης
Οι πίνακες σύγχυσης θα παραμείνουν θεμελιώδεις, αλλά η χρήση εργαλείων τους κάνει πλουσιότερους: διαδραστικοί, κανονικοποιημένοι χάρτες θερμότητας, αναλύσεις ανά κατηγορία για μεγάλα σύνολα ετικετών και σταθμισμένοι πίνακες που πολλαπλασιάζουν κάθε τύπο σφάλματος με την πραγματική του ποινή. Στο πλαίσιο του ελέγχου δικαιοσύνης, οι επαγγελματίες πλέον υπολογίζουν ξεχωριστούς πίνακες σύγχυσης ανά δημογραφική υποομάδα για να εκθέσουν άνισα ποσοστά σφαλμάτων. Αναμένετε συνεχή ενσωμάτωση σε πίνακες εργαλείων μοντέλων όπου κάνοντας κλικ σε ένα κελί εμφανίζονται στην επιφάνεια τα πραγματικά λανθασμένα παραδείγματα για επιθεώρηση.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Σαφέστερες αποφάσεις. Σας βοηθά να διαχωρίσετε σαφείς τεχνικούς ισχυρισμούς από τη γλώσσα μάρκετινγκ.
- Κόστος και προϋπολογισμός. Μπορείτε να κάνετε καλύτερες ερωτήσεις εφαρμογής προτού ξοδέψετε χρήματα ή χρόνο.
- Ομάδα και ροή εργασίας. Οι ομάδες με κοινή κατανόηση λαμβάνουν καλύτερες αποφάσεις για προϊόντα, πολιτικές και μάθηση.
Προσέξτε
- Διαφορετικές ομάδες μπορεί να χρησιμοποιούν τον ίδιο όρο με διαφορετικό τρόπο, επομένως ορίστε το πεδίο εφαρμογής νωρίς.
- Τα σημεία αναφοράς μπορεί να φαίνονται ισχυρά ενώ η απόδοση στον πραγματικό κόσμο είναι άνιση.
- Η αγνόηση της ποιότητας των δεδομένων και των σχεδίων αξιολόγησης δημιουργεί συχνά εύθραυστα αποτελέσματα.
Επόμενα βήματα
- Ξεκινήστε με έναν ορισμό σε απλή γλώσσα του αποτελέσματος που χρειάζεστε.
- Επιλέξτε μία μέτρηση επιτυχίας και μία συνθήκη αποτυχίας πριν από τη δοκιμή.
- Εκτελέστε ένα μικρό πιλότο με αντιπροσωπευτικά δεδομένα, όχι ένα εκλεπτυσμένο σετ επίδειξης.
- Τεκμηριώστε πού βοηθούν οι πίνακες σύγχυσης και πού είναι καλύτερες οι απλούστερες μέθοδοι.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the Confusion Matrices quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
Τι είναι οι πίνακες σύγχυσης;
Ένας πίνακας σύγχυσης είναι ένας απλός πίνακας που χωρίζει τις προβλέψεις ενός ταξινομητή σε σωστές και λανθασμένες μετρήσεις για κάθε τάξη. Είναι ο ακατέργαστος πίνακας αποτελεσμάτων από τον οποίο υπολογίζεται σχεδόν κάθε άλλη μέτρηση ταξινόμησης.
Σε έναν δυαδικό πίνακα σύγχυσης, τι είναι το ψευδώς αρνητικό;
Ένα ψευδώς αρνητικό είναι ένα πραγματικό θετικό που έχασε το μοντέλο χαρακτηρίζοντάς το αρνητικό - για παράδειγμα, ένας άρρωστος ασθενής δήλωσε υγιής.
Ποια μέτρηση μετρά την αναλογία των πραγματικών θετικών που το μοντέλο προσδιορίζει σωστά;
Η ανάκληση (ονομάζεται επίσης ευαισθησία ή πραγματικός θετικός ρυθμός) είναι TP / (TP + FN) — το μερίδιο των πραγματικών θετικών που έπιασε το μοντέλο.
Σε έναν πίνακα σύγχυσης για ένα πρόβλημα με 5 κλάσεις, τι αντιπροσωπεύουν τα διαγώνια κελιά;
Σε έναν πίνακα N-by-N η διαγώνιος περιέχει περιπτώσεις όπου η προβλεπόμενη κλάση ταιριάζει με την αληθινή κλάση - δηλαδή σωστές προβλέψεις.
Γιατί η ακρίβεια από μόνη της μπορεί να είναι παραπλανητική χωρίς μήτρα σύγχυσης;
Δύο μοντέλα με την ίδια ακρίβεια μπορούν να κατανέμουν τα λάθη τους πολύ διαφορετικά. ο πίνακας σύγχυσης αποκαλύπτει εάν τα σφάλματα είναι κυρίως ψευδείς συναγερμοί ή χαμένα θετικά.
Ποιες δύο μετρήσεις είναι η βαθμολογία F1;
Το F1 συνδυάζει την ακρίβεια και την ανάκληση σε έναν αριθμό χρησιμοποιώντας τον αρμονικό μέσο όρο, ο οποίος τιμωρεί τις μεγάλες ανισορροπίες μεταξύ των δύο.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα