À suivreGuide suivant
Précision moyenne et PR-AUC
Technique
GUIDE des fondamentaux
Courbes ROC et AUC
Une courbe ROC montre dans quelle mesure un classificateur sépare deux classes pour chaque seuil de décision possible, et AUC compresse toute cette courbe en un seul nombre.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
Together they tell you ranking quality independent of where you draw the cutoff.
Plongée profonde
Une courbe ROC (Receiver Operating Characteristic) représente le taux de vrais positifs (sensibilité, sur l'axe des y) par rapport au taux de faux positifs (1 moins la spécificité, sur l'axe des x) lorsque vous faites glisser le seuil de classification de 1 vers le bas à 0. Chaque seuil donne un point ; les relier trace la courbe. Un modèle qui classe chaque positif au-dessus de chaque négatif épouse le coin supérieur gauche. L'aire sous la courbe (AUC) mesure l'aire totale sous cette ligne, allant de 0,5 (estimation aléatoire, diagonale) à 1,0 (parfait). Une interprétation pratique : l'AUC est égale à la probabilité que le modèle obtienne un résultat positif choisi au hasard plus élevé qu'un négatif choisi au hasard. Le terme vient des opérateurs de radar de la Seconde Guerre mondiale qui distinguaient le signal du bruit.
Mise en œuvre dans le monde réel
Comparaison de deux modèles de détection de fraude pour une banque en fonction de son AUC afin de choisir celui qui classe le mieux les transactions frauduleuses par rapport aux transactions légitimes.
Évaluation d'un test de diagnostic pour une maladie (par exemple, un classificateur de dépistage du cancer) pour lequel les radiologues doivent trouver un compromis entre la détection d'un plus grand nombre de cas et les fausses alarmes.
Ajustement du seuil d'un filtre anti-spam à l'aide de la courbe ROC pour maintenir les faux positifs (courrier légitime signalé comme spam) très bas
Analyse comparative d'un modèle de notation de défaut de crédit dans lequel l'AUC résume dans quelle mesure elle sépare les emprunteurs qui remboursent de ceux qui font défaut.
L'avenir des courbes ROC et de l'AUC
ROC-AUC reste une mesure de reporting par défaut, mais les praticiens l'associent de plus en plus aux courbes de précision-rappel pour les données fortement déséquilibrées, où ROC peut paraître trompeusement optimiste. Attendez-vous à une adoption plus large de l’AUC partielle (en se concentrant sur la région à faible taux de faux positifs qui compte sur le plan opérationnel), à une analyse sensible aux coûts et à la courbe de décision, ainsi qu’à des rapports sur l’AUC par sous-groupe pour faire apparaître les écarts d’équité. À mesure que les modèles alimentent les décisions réelles, les mesures d’étalonnage et l’AUC seront de plus en plus rapportées côte à côte plutôt que l’AUC seule.
Le mettre en pratique
Pourquoi c'est important
- Décisions plus claires. Il vous aide à séparer les affirmations techniques claires du langage marketing.
- Coût et budget. Vous pouvez poser de meilleures questions de mise en œuvre avant de dépenser de l'argent ou du temps.
- Équipe et flux de travail. Les équipes partageant une compréhension commune prennent de meilleures décisions en matière de produits, de politiques et d’apprentissage.
Attention à
- Différentes équipes peuvent utiliser le même terme différemment, alors définissez la portée dès le début.
- Les benchmarks peuvent paraître solides alors que les performances réelles sont inégales.
- Ignorer la qualité des données et les plans d’évaluation crée souvent des résultats fragiles.
Prochaines étapes
- Commencez par une définition en langage simple du résultat dont vous avez besoin.
- Choisissez une mesure de réussite et une condition d’échec avant de tester.
- Exécutez un petit pilote avec des données représentatives, pas un ensemble de démonstration raffiné.
- Documentez où les courbes ROC et l'AUC sont utiles et où les méthodes plus simples sont meilleures.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the ROC Curves and AUC quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
What is ROC Curves and AUC?
Une courbe ROC montre dans quelle mesure un classificateur sépare deux classes pour chaque seuil de décision possible, et AUC compresse toute cette courbe en un seul nombre. Ensemble, ils vous indiquent la qualité du classement, quel que soit l'endroit où vous fixez le seuil.
Quelles sont les deux quantités qu'une courbe ROC représente l'une par rapport à l'autre ?
Une courbe ROC représente le taux de vrais positifs (sensibilité) sur l'axe des y par rapport au taux de faux positifs (1 - spécificité) sur l'axe des x à travers les seuils.
Quelle valeur d'AUC correspond à un classificateur qui ne fonctionne pas mieux qu'une estimation aléatoire ?
Un classificateur aléatoire trace la ligne diagonale, donnant une AUC de 0,5. Une AUC de 1,0 est parfaite, et 0,0 signifie que chaque classement est exactement à l'envers.
Pourquoi l'AUC est-elle décrite comme « indépendante du seuil » ?
L'AUC résume l'intégralité de la courbe ROC, qui est générée en balayant chaque seuil, elle ne dépend donc d'aucun seuil choisi.
Pour un ensemble de données fortement déséquilibré, quelle courbe est souvent recommandée à côté ou à la place du ROC car le ROC peut paraître trop optimiste ?
Sur les problèmes rares-positifs, le grand nombre de vrais négatifs maintient le taux de faux positifs à un niveau bas, gonflant le ROC. Les courbes Précision-Rappel se concentrent sur la classe positive et révèlent les performances de manière plus honnête.
Why can a model have a high ROC-AUC but poorly calibrated probability estimates?
The guide notes that AUC depends on rank order and is insensitive to calibration; monotonic transformations can preserve rankings while altering the probability scale.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet