A continuaciónSiguiente guía
Precisión promedio y PR-AUC
Técnico
GUÍA DE FUNDAMENTOS
Curvas ROC y AUC
Una curva ROC traza qué tan bien un clasificador separa dos clases en cada umbral de decisión posible, y AUC comprime toda esa curva en un número.
Escuche esta guíaNarrado por IA · ~2 min
En esta pagina2 minutos de lectura
Descripción general
Together they tell you ranking quality independent of where you draw the cutoff.
Buceo profundo
Una curva de característica operativa del receptor (ROC) traza la tasa de verdaderos positivos (sensibilidad, en el eje y) frente a la tasa de falsos positivos (1 menos especificidad, en el eje x) a medida que desliza el umbral de clasificación de 1 a 0. Cada umbral otorga un punto; conectándolos traza la curva. Un modelo que clasifica cada positivo por encima de cada negativo ocupa la esquina superior izquierda. El área bajo la curva (AUC) mide el área total debajo de esta línea, desde 0,5 (adicción aleatoria, la diagonal) hasta 1,0 (perfecto). Una interpretación útil: el AUC es igual a la probabilidad de que el modelo obtenga una puntuación positiva elegida al azar mayor que una negativa elegida al azar. El término proviene de los operadores de radar de la Segunda Guerra Mundial que distinguían la señal del ruido.
Implementación en el mundo real
Comparar dos modelos de detección de fraude para un banco según sus AUC para elegir el que mejor clasifica las transacciones fraudulentas por encima de las legítimas.
Evaluar una prueba de diagnóstico para una enfermedad (por ejemplo, un clasificador de detección de cáncer) donde los radiólogos deben compensar la detección de más casos con falsas alarmas.
Ajustar el umbral de un filtro de spam utilizando la curva ROC para mantener muy bajos los falsos positivos (correo legítimo marcado como spam)
Evaluación comparativa de un modelo de puntuación de incumplimiento crediticio en el que AUC resume qué tan bien separa a los prestatarios que pagan de los que incumplen
El futuro de las curvas ROC y AUC
ROC-AUC sigue siendo una métrica de informes predeterminada, pero los profesionales la combinan cada vez más con curvas de recuperación de precisión para datos muy desequilibrados, donde ROC puede parecer engañosamente optimista. Espere una adopción más amplia de AUC parcial (centrándose en la región con bajo nivel de falsos positivos que importa operativamente), análisis de curvas de decisión y sensibles a los costos, y informes de AUC por subgrupo para sacar a la luz las brechas de equidad. A medida que los modelos alimenten decisiones reales, las métricas de calibración y el AUC se informarán cada vez más en paralelo en lugar de solo el AUC.
Poniéndolo en práctica
Por qué es importante
- Decisiones más claras. Le ayuda a separar las afirmaciones técnicas claras del lenguaje de marketing.
- Costo y presupuesto. Puede hacer mejores preguntas sobre implementación antes de gastar dinero o tiempo.
- Equipo y flujo de trabajo. Los equipos con conocimientos compartidos toman mejores decisiones sobre productos, políticas y aprendizaje.
cuidado con
- Diferentes equipos pueden usar el mismo término de manera diferente, por lo tanto, defina el alcance con anticipación.
- Los puntos de referencia pueden parecer sólidos, mientras que el desempeño en el mundo real es desigual.
- Ignorar la calidad de los datos y los planes de evaluación a menudo genera resultados frágiles.
Próximos pasos
- Comience con una definición en lenguaje sencillo del resultado que necesita.
- Elija una métrica de éxito y una condición de fracaso antes de realizar la prueba.
- Ejecute un pequeño piloto con datos representativos, no un conjunto de demostración pulido.
- Documente dónde ayudan las curvas ROC y AUC y dónde son mejores los métodos más simples.
Sigue explorando
Boletín gratuito
Recibe el resumen diario de IA
Tres noticias verificadas sobre IA cada mañana de lunes a viernes, explicadas con claridad. Gratis para siempre y sin anuncios.
Un correo cada día laborable. Date de baja con un clic. Nunca vendemos ni compartimos tu dirección.
Ponte a prueba
Take the ROC Curves and AUC quiz
Corrección inmediata en cada respuesta y un certificado para compartir, con un ID verificable, cuando apruebas un curso.
Apoya la educación gratuita sobre IA. AI Understanding es una organización sin fines de lucro 501(c)(3): sin anuncios ni muros de pago, nunca. Hacer una donación
Preguntas frecuentes
What is ROC Curves and AUC?
Una curva ROC traza qué tan bien un clasificador separa dos clases en cada umbral de decisión posible, y AUC comprime toda esa curva en un número. Juntos le indican la calidad de la clasificación independientemente de dónde se establezca el límite.
¿Qué dos cantidades representa una curva ROC entre sí?
Una curva ROC traza la tasa de verdaderos positivos (sensibilidad) en el eje y frente a la tasa de falsos positivos (1 - especificidad) en el eje x a través de los umbrales.
¿Qué valor de AUC corresponde a un clasificador que no funciona mejor que la adivinación aleatoria?
Un clasificador aleatorio traza la línea diagonal, dando un AUC de 0,5. Un AUC de 1,0 es perfecto y 0,0 significa que todas las clasificaciones se obtienen exactamente al revés.
¿Por qué se describe a las AUC como "independientes del umbral"?
AUC resume toda la curva ROC, que se genera barriendo cada umbral, por lo que no depende de ningún límite elegido.
Para un conjunto de datos muy desequilibrado, ¿qué curva se recomienda a menudo junto con la República de China o en lugar de ella porque la República de China puede parecer demasiado optimista?
En problemas poco positivos, la gran cantidad de verdaderos negativos mantiene baja la tasa de falsos positivos, inflando la República de China. Las curvas de recuperación de precisión se centran en la clase positiva y revelan el rendimiento de forma más honesta.
Why can a model have a high ROC-AUC but poorly calibrated probability estimates?
The guide notes that AUC depends on rank order and is insensitive to calibration; monotonic transformations can preserve rankings while altering the probability scale.
sigue aprendiendo
Guías relacionadas
Más guías seleccionadas para este tema.