A continuaciónSiguiente guía
Validación cruzada
Fundamentos
GUÍA DE FUNDAMENTOS
Matrices de confusión
Una matriz de confusión es una tabla simple que divide las predicciones de un clasificador en recuentos correctos e incorrectos para cada clase.
Escuche esta guíaNarrado por IA · ~2 min
En esta pagina2 minutos de lectura
Descripción general
It is the raw scoreboard from which nearly every other classification metric is calculated.
Buceo profundo
Una matriz de confusión es una cuadrícula que compara etiquetas previstas con etiquetas reales. Para la clasificación binaria, tiene cuatro celdas: Verdaderos Positivos (positivos correctamente predichos), Verdaderos Negativos (negativos predichos correctamente), Falsos Positivos (negativos marcados erróneamente como positivos, un 'error de Tipo I') y Falsos Negativos (positivos que se omitieron, un 'error de Tipo II'). De estos cuatro números se deriva la precisión ((TP+TN)/total), la precisión (TP/(TP+FP)), la recuperación o sensibilidad (TP/(TP+FN)), la especificidad (TN/(TN+FP)) y la puntuación F1 (la media armónica de precisión y recuperación). Para problemas con más de dos clases, la matriz se convierte en N por N, donde la diagonal contiene predicciones correctas y las celdas fuera de la diagonal revelan exactamente qué clases se confunden con otras.
Implementación en el mundo real
Diagnosticar dónde falla un clasificador de imágenes al ver que con frecuencia confunde perros esquimales con lobos en las celdas fuera de la diagonal
Auditar una herramienta de detección médica mediante el examen de falsos negativos: pacientes con la enfermedad que el modelo declaró sanos
Comparar dos filtros de spam de correo electrónico que comparten la misma precisión pero difieren en la cantidad de correos electrónicos reales que bloquean erróneamente (falsos positivos)
Evaluación de un reconocedor de dígitos escritos a mano de varias clases para descubrir que los 4 y los 9 se confunden con mayor frecuencia entre sí
El futuro de las matrices de confusión
Las matrices de confusión seguirán siendo fundamentales, pero las herramientas las están enriqueciendo: mapas de calor normalizados e interactivos, desgloses por clase para grandes conjuntos de etiquetas y matrices ponderadas por costos que multiplican cada tipo de error por su penalización en el mundo real. En la auditoría de equidad, los profesionales ahora calculan matrices de confusión separadas por subgrupo demográfico para exponer tasas de error desiguales. Espere una integración continua en los paneles de modelos donde al hacer clic en una celda se muestran los ejemplos reales mal clasificados para su inspección.
Poniéndolo en práctica
Por qué es importante
- Decisiones más claras. Le ayuda a separar las afirmaciones técnicas claras del lenguaje de marketing.
- Costo y presupuesto. Puede hacer mejores preguntas sobre implementación antes de gastar dinero o tiempo.
- Equipo y flujo de trabajo. Los equipos con conocimientos compartidos toman mejores decisiones sobre productos, políticas y aprendizaje.
cuidado con
- Diferentes equipos pueden usar el mismo término de manera diferente, por lo tanto, defina el alcance con anticipación.
- Los puntos de referencia pueden parecer sólidos, mientras que el desempeño en el mundo real es desigual.
- Ignorar la calidad de los datos y los planes de evaluación a menudo genera resultados frágiles.
Próximos pasos
- Comience con una definición en lenguaje sencillo del resultado que necesita.
- Elija una métrica de éxito y una condición de fracaso antes de realizar la prueba.
- Ejecute un pequeño piloto con datos representativos, no un conjunto de demostración pulido.
- Documente dónde ayudan las matrices de confusión y dónde son mejores los métodos más simples.
Sigue explorando
Boletín gratuito
Recibe el resumen diario de IA
Tres noticias verificadas sobre IA cada mañana de lunes a viernes, explicadas con claridad. Gratis para siempre y sin anuncios.
Un correo cada día laborable. Date de baja con un clic. Nunca vendemos ni compartimos tu dirección.
Ponte a prueba
Take the Confusion Matrices quiz
Corrección inmediata en cada respuesta y un certificado para compartir, con un ID verificable, cuando apruebas un curso.
Apoya la educación gratuita sobre IA. AI Understanding es una organización sin fines de lucro 501(c)(3): sin anuncios ni muros de pago, nunca. Hacer una donación
Preguntas frecuentes
What is Confusion Matrices?
Una matriz de confusión es una tabla simple que divide las predicciones de un clasificador en recuentos correctos e incorrectos para cada clase. Es el marcador en bruto a partir del cual se calculan casi todas las demás métricas de clasificación.
En una matriz de confusión binaria, ¿qué es un falso negativo?
Un Falso Negativo es un positivo real que el modelo pasó por alto al etiquetarlo como negativo; por ejemplo, un paciente enfermo declarado sano.
¿Qué métrica mide la proporción de positivos reales que el modelo identifica correctamente?
La recuperación (también llamada sensibilidad o tasa de verdaderos positivos) es TP / (TP + FN): la proporción de positivos reales que captó el modelo.
En una matriz de confusión para un problema con 5 clases, ¿qué representan las celdas diagonales?
En una matriz N por N, la diagonal contiene casos en los que la clase predicha coincide con la clase verdadera, es decir, predicciones correctas.
¿Por qué la precisión por sí sola puede ser engañosa sin una matriz de confusión?
Dos modelos con la misma precisión pueden distribuir sus errores de manera muy diferente; la matriz de confusión expone si los errores son en su mayoría falsas alarmas o positivos perdidos.
¿La puntuación F1 es la media armónica de qué dos métricas?
F1 combina precisión y recuperación en un número utilizando la media armónica, lo que penaliza grandes desequilibrios entre los dos.
sigue aprendiendo
Guías relacionadas
Más guías seleccionadas para este tema.