Als nächstesNächster Leitfaden
Kreuzvalidierung
Grundlagen
Grundlagen-Leitfaden
Verwirrungsmatrizen
Eine Verwirrungsmatrix ist eine einfache Tabelle, die die Vorhersagen eines Klassifikators für jede Klasse in richtige und falsche Zahlen aufteilt.
Hören Sie sich diesen Leitfaden anKI-erzählt · ~2 min
Auf dieser Seite2 Minuten gelesen
Übersicht
It is the raw scoreboard from which nearly every other classification metric is calculated.
Tiefer Einblick
Eine Verwirrungsmatrix ist ein Raster, das vorhergesagte Etiketten mit tatsächlichen Etiketten vergleicht. Für die binäre Klassifizierung gibt es vier Zellen: True Positives (richtig vorhergesagtes Positiv), True Negatives (richtig vorhergesagtes Negativ), False Positives (fälschlicherweise als positiv gekennzeichnete Negative, ein „Fehler vom Typ I“) und False Negatives (Positive, die übersehen wurden, ein „Fehler vom Typ II“). Aus diesen vier Zahlen leiten Sie Genauigkeit ((TP+TN)/Gesamt), Präzision (TP/(TP+FP)), Rückruf oder Empfindlichkeit (TP/(TP+FN)), Spezifität (TN/(TN+FP)) und den F1-Score (das harmonische Mittel aus Präzision und Rückruf) ab. Bei Problemen mit mehr als zwei Klassen wird die Matrix zu N-mal-N, wobei die Diagonale korrekte Vorhersagen enthält und Zellen außerhalb der Diagonale genau zeigen, welche Klassen mit welchen anderen verwechselt werden.
Reale Umsetzung
Diagnostizieren Sie, wo ein Bildklassifikator versagt, indem Sie feststellen, dass er in den Zellen außerhalb der Diagonale häufig Huskys mit Wölfen verwechselt
Prüfung eines medizinischen Screening-Instruments durch Untersuchung falsch negativer Ergebnisse – Patienten mit der Krankheit, die das Modell für gesund erklärte
Vergleich zweier E-Mail-Spamfilter, die die gleiche Genauigkeit aufweisen, sich aber darin unterscheiden, wie viele echte E-Mails sie fälschlicherweise blockieren (falsch positive Ergebnisse).
Bei der Evaluierung eines Multiklassen-Erkenners für handschriftliche Ziffern wurde festgestellt, dass 4er und 9er am häufigsten miteinander verwechselt werden
Die Zukunft der Verwirrungsmatrizen
Verwirrungsmatrizen bleiben grundlegend, aber durch Tools werden sie reicher: interaktive, normalisierte Heatmaps, Aufschlüsselungen pro Klasse für große Etikettensätze und kostengewichtete Matrizen, die jeden Fehlertyp mit seiner realen Strafe multiplizieren. Beim Fairness-Auditing berechnen Praktiker jetzt separate Verwirrungsmatrizen pro demografischer Untergruppe, um ungleiche Fehlerquoten aufzudecken. Erwarten Sie eine weitere Integration in Modell-Dashboards, bei denen durch Klicken auf eine Zelle die tatsächlich falsch klassifizierten Beispiele zur Überprüfung angezeigt werden.
In die Tat umsetzen
Warum es wichtig ist
- Klarere Entscheidungen. Es hilft Ihnen, klare technische Aussagen von der Marketingsprache zu trennen.
- Kosten und Budget. Sie können bessere Fragen zur Implementierung stellen, bevor Sie Geld oder Zeit investieren.
- Team und Arbeitsablauf. Teams mit gemeinsamem Verständnis treffen bessere Produkt-, Richtlinien- und Lernentscheidungen.
Achten Sie auf
- Unterschiedliche Teams verwenden denselben Begriff möglicherweise unterschiedlich. Definieren Sie daher frühzeitig den Geltungsbereich.
- Benchmarks können stark aussehen, während die tatsächliche Leistung uneinheitlich ist.
- Das Ignorieren von Datenqualität und Evaluierungsplänen führt oft zu fragilen Ergebnissen.
Nächste Schritte
- Beginnen Sie mit einer klaren Definition des gewünschten Ergebnisses.
- Wählen Sie vor dem Testen eine Erfolgsmetrik und eine Fehlerbedingung aus.
- Führen Sie ein kleines Pilotprojekt mit repräsentativen Daten durch, nicht mit einem ausgefeilten Demoset.
- Dokumentieren Sie, wo Verwirrungsmatrizen helfen und wo einfachere Methoden besser sind.
Entdecken Sie weiter
Kostenloser Newsletter
Erhalten Sie die tägliche KI-Briefing
Drei verifizierte KI-Geschichten jeden Werktagmorgen, in einfachem Englisch geschrieben. Für immer kostenlos, keine Werbung.
Eine E‑Mail jeden Werktag. Abmelden mit einem Klick. Wir verkaufen oder teilen Ihre Adresse nie.
Testen Sie sich selbst
Take the Confusion Matrices quiz
Sofortiges Feedback zu jeder Antwort und ein teilbares Zertifikat mit verifizierbarer ID, sobald Sie einen Kurs bestanden haben.
Unterstützen Sie kostenlose KI-Bildung. AI Understanding ist eine 501(c)(3) gemeinnützige Organisation – keine Werbung, keine Paywall, nie. Machen Sie eine Spende
Häufig gestellte Fragen
What is Confusion Matrices?
Eine Verwirrungsmatrix ist eine einfache Tabelle, die die Vorhersagen eines Klassifikators für jede Klasse in richtige und falsche Zahlen aufteilt. Es handelt sich um die Rohanzeigetafel, aus der nahezu jede andere Klassifizierungsmetrik berechnet wird.
Was ist in einer binären Verwirrungsmatrix ein falsch negatives Ergebnis?
Ein falsch negatives Ergebnis ist ein tatsächlich positives Ergebnis, das das Modell übersehen hat, indem es es als negativ eingestuft hat – beispielsweise ein kranker Patient, der für gesund erklärt wurde.
Welche Metrik misst den Anteil der tatsächlich positiven Ergebnisse, die das Modell korrekt identifiziert?
Der Rückruf (auch Sensitivität oder True-Positive-Rate genannt) ist TP / (TP + FN) – der Anteil der echten Positiven, die das Modell erfasst hat.
Was stellen die diagonalen Zellen in einer Verwirrungsmatrix für ein Problem mit 5 Klassen dar?
In einer N-mal-N-Matrix enthält die Diagonale Fälle, in denen die vorhergesagte Klasse mit der wahren Klasse übereinstimmt – d. h. korrekte Vorhersagen.
Warum kann Genauigkeit allein ohne eine Verwirrungsmatrix irreführend sein?
Zwei Modelle mit gleicher Genauigkeit können ihre Fehler sehr unterschiedlich verteilen; Die Verwirrungsmatrix zeigt, ob es sich bei Fehlern hauptsächlich um Fehlalarme oder verpasste positive Ergebnisse handelt.
Der F1-Score ist das harmonische Mittel welcher beiden Metriken?
F1 kombiniert Präzision und Erinnerung mithilfe des harmonischen Mittels in einer Zahl, wodurch große Ungleichgewichte zwischen beiden bestraft werden.
Lerne weiter
Verwandte Leitfäden
Weitere Leitfäden zu diesem Thema ausgewählt