Als nächstesNächster Leitfaden
Durchschnittliche Präzision und PR-AUC
Technisch
Grundlagen-Leitfaden
ROC-Kurven und AUC
Eine ROC-Kurve stellt dar, wie gut ein Klassifikator zwei Klassen über jeden möglichen Entscheidungsschwellenwert hinweg trennt, und AUC komprimiert diese gesamte Kurve zu einer Zahl.
Hören Sie sich diesen Leitfaden anKI-erzählt · ~2 min
Auf dieser Seite2 Minuten gelesen
Übersicht
Together they tell you ranking quality independent of where you draw the cutoff.
Tiefer Einblick
In einer ROC-Kurve (Receiver Operating Characteristic) wird die Richtig-Positiv-Rate (Sensitivität, auf der Y-Achse) gegen die Falsch-Positiv-Rate (1 minus Spezifität, auf der X-Achse) aufgetragen, während Sie den Klassifizierungsschwellenwert von 1 nach unten auf 0 verschieben. Jeder Schwellenwert gibt einen Punkt; Wenn man sie verbindet, entsteht die Kurve. Ein Modell, das alles Positive über alles Negative einordnet, schmiegt sich an die obere linke Ecke. Die Fläche unter der Kurve (AUC) misst die Gesamtfläche unterhalb dieser Linie und reicht von 0,5 (zufällige Schätzung, Diagonale) bis 1,0 (perfekt). Eine praktische Interpretation: AUC entspricht der Wahrscheinlichkeit, dass das Modell einen zufällig ausgewählten positiven Wert höher bewertet als einen zufällig ausgewählten negativen Wert. Der Begriff stammt von den Radarbetreibern des Zweiten Weltkriegs, die Signale von Rauschen unterscheiden.
Reale Umsetzung
Vergleich zweier Betrugserkennungsmodelle für eine Bank anhand ihrer AUC, um das Modell auszuwählen, das betrügerische Transaktionen am besten über legitime Transaktionen einordnet
Bewertung eines diagnostischen Tests für eine Krankheit (z. B. eines Krebs-Screening-Klassifikators), bei dem Radiologen einen Kompromiss zwischen der Erfassung weiterer Fälle und Fehlalarmen eingehen müssen
Passen Sie den Schwellenwert eines Spamfilters mithilfe der ROC-Kurve an, um Fehlalarme (als Spam gekennzeichnete legitime E-Mails) sehr niedrig zu halten
Benchmarking eines Kreditausfall-Scoring-Modells, bei dem AUC zusammenfasst, wie gut es Kreditnehmer, die zurückzahlen, von denen unterscheidet, die in Verzug geraten
Die Zukunft von ROC-Kurven und AUC
ROC-AUC bleibt eine Standardmetrik für die Berichterstattung, doch Praktiker kombinieren sie zunehmend mit Precision-Recall-Kurven für stark unausgeglichene Daten, bei denen ROC täuschend optimistisch aussehen kann. Erwarten Sie eine breitere Einführung von partiellem AUC (mit Schwerpunkt auf dem Bereich mit wenigen falsch positiven Ergebnissen, der operativ wichtig ist), kostensensitiver Analyse und Entscheidungskurvenanalyse sowie AUC-Berichten pro Untergruppe, um Gerechtigkeitslücken aufzudecken. Da Modelle in reale Entscheidungen einfließen, werden Kalibrierungsmetriken und AUC zunehmend nebeneinander und nicht nur AUC gemeldet.
In die Tat umsetzen
Warum es wichtig ist
- Klarere Entscheidungen. Es hilft Ihnen, klare technische Aussagen von der Marketingsprache zu trennen.
- Kosten und Budget. Sie können bessere Fragen zur Implementierung stellen, bevor Sie Geld oder Zeit investieren.
- Team und Arbeitsablauf. Teams mit gemeinsamem Verständnis treffen bessere Produkt-, Richtlinien- und Lernentscheidungen.
Achten Sie auf
- Unterschiedliche Teams verwenden denselben Begriff möglicherweise unterschiedlich. Definieren Sie daher frühzeitig den Geltungsbereich.
- Benchmarks können stark aussehen, während die tatsächliche Leistung uneinheitlich ist.
- Das Ignorieren von Datenqualität und Evaluierungsplänen führt oft zu fragilen Ergebnissen.
Nächste Schritte
- Beginnen Sie mit einer klaren Definition des gewünschten Ergebnisses.
- Wählen Sie vor dem Testen eine Erfolgsmetrik und eine Fehlerbedingung aus.
- Führen Sie ein kleines Pilotprojekt mit repräsentativen Daten durch, nicht mit einem ausgefeilten Demoset.
- Dokumentieren Sie, wo ROC-Kurven und AUC hilfreich sind und wo einfachere Methoden besser sind.
Entdecken Sie weiter
Kostenloser Newsletter
Erhalten Sie die tägliche KI-Briefing
Drei verifizierte KI-Geschichten jeden Werktagmorgen, in einfachem Englisch geschrieben. Für immer kostenlos, keine Werbung.
Eine E‑Mail jeden Werktag. Abmelden mit einem Klick. Wir verkaufen oder teilen Ihre Adresse nie.
Testen Sie sich selbst
Take the ROC Curves and AUC quiz
Sofortiges Feedback zu jeder Antwort und ein teilbares Zertifikat mit verifizierbarer ID, sobald Sie einen Kurs bestanden haben.
Unterstützen Sie kostenlose KI-Bildung. AI Understanding ist eine 501(c)(3) gemeinnützige Organisation – keine Werbung, keine Paywall, nie. Machen Sie eine Spende
Häufig gestellte Fragen
What is ROC Curves and AUC?
Eine ROC-Kurve stellt dar, wie gut ein Klassifikator zwei Klassen über jeden möglichen Entscheidungsschwellenwert hinweg trennt, und AUC komprimiert diese gesamte Kurve zu einer Zahl. Zusammen geben sie Ihnen Aufschluss über die Qualität des Rankings, unabhängig davon, wo Sie den Grenzwert ziehen.
Welche zwei Größen stellt eine ROC-Kurve gegeneinander dar?
In einer ROC-Kurve wird die Richtig-Positiv-Rate (Sensitivität) auf der Y-Achse gegen die Falsch-Positiv-Rate (1 – Spezifität) auf der X-Achse über die Schwellenwerte aufgetragen.
Welcher AUC-Wert entspricht einem Klassifikator, der nicht besser abschneidet als zufällige Schätzungen?
Ein zufälliger Klassifikator zeichnet die diagonale Linie nach und ergibt eine AUC von 0,5. Eine AUC von 1,0 ist perfekt und 0,0 bedeutet, dass jede Rangfolge genau rückwärts geht.
Warum wird AUC als „schwellenwertunabhängig“ beschrieben?
AUC fasst die gesamte ROC-Kurve zusammen, die durch Durchlaufen jedes Schwellenwerts erzeugt wird, sodass sie nicht von einem einzelnen gewählten Grenzwert abhängt.
Welche Kurve wird bei einem stark unausgeglichenen Datensatz häufig neben oder anstelle von ROC empfohlen, da ROC übermäßig optimistisch wirken kann?
Bei selten positiven Problemen hält die große Anzahl richtig negativer Ergebnisse die Falsch-Positiv-Rate niedrig und erhöht den ROC. Precision-Recall-Kurven konzentrieren sich auf die positive Klasse und zeigen die Leistung ehrlicher.
Why can a model have a high ROC-AUC but poorly calibrated probability estimates?
The guide notes that AUC depends on rank order and is insensitive to calibration; monotonic transformations can preserve rankings while altering the probability scale.
Lerne weiter
Verwandte Leitfäden
Weitere Leitfäden zu diesem Thema ausgewählt