Sobreajuste y desajuste
El sobreajuste ocurre cuando un modelo memoriza sus datos de entrenamiento y falla en nuevos ejemplos; el desajuste es cuando es demasiado simple capturar el patrón real.
Descripción general
Hitting the sweet spot between them is the central challenge of machine learning.
Buceo profundo
Cada modelo se ajusta a un conjunto de entrenamiento finito, pero el objetivo es funcionar bien con datos invisibles. Un modelo de sobreajuste trata el ruido y las peculiaridades del conjunto de entrenamiento como si fueran señales reales: podría obtener una puntuación del 99 % en los datos de entrenamiento, pero colapsar al 70 % en un conjunto de prueba. Un modelo insuficientemente adaptado es el problema opuesto, demasiado rígido para capturar la estructura subyacente, por lo que funciona mal tanto en los datos de entrenamiento como en los de prueba. La brecha entre el entrenamiento y el desempeño en las pruebas es el signo revelador. El desajuste se muestra como un error elevado en todas partes (alto sesgo); el sobreajuste se muestra como un error de entrenamiento bajo pero un error de prueba alto (varianza alta). La habilidad es reconocer qué problema tienes, porque las soluciones van en direcciones opuestas.
Información técnica
El sobreajuste y el desajuste son dos extremos del equilibrio entre sesgo y varianza. El sesgo es un error derivado de suposiciones excesivamente simplificadas; La varianza es un error por ser demasiado sensible a la muestra de entrenamiento específica. Un modelo lineal diminuto tiene un alto sesgo y una baja varianza (subadaptación); un modelo enorme y sin restricciones tiene un sesgo bajo y una varianza alta (sobreajustes). El error total esperado se descompone aproximadamente en sesgo al cuadrado más varianza más ruido irreducible. Los profesionales detectan el problema comparando la precisión del conjunto de entrenamiento con un conjunto de validación mantenido, observando dónde divergen las dos curvas.
Impacto Estratégico
Decisiones más claras
Le ayuda a separar las afirmaciones técnicas claras del lenguaje de marketing.
Costo y presupuesto
Puede hacer mejores preguntas sobre implementación antes de gastar dinero o tiempo.
Equipo y flujo de trabajo
Los equipos con conocimientos compartidos toman mejores decisiones sobre productos, políticas y aprendizaje.
El futuro del sobreajuste y el desajuste
Estos conceptos siguen siendo fundamentales, pero las redes neuronales muy grandes han complicado el panorama clásico. Los modelos modernos pueden tener muchos más parámetros que puntos de datos y aún así generalizar bien, un régimen sorprendente a veces llamado "doble descenso", donde el error de prueba vuelve a caer después del pico de sobreajuste. La investigación se centra cada vez más en por qué se generalizan los modelos sobreparametrizados, el papel de la regularización implícita en los optimizadores y una mejor detección automatizada del cambio de distribución. Espere diagnósticos más completos que señalen un sobreajuste en la producción a medida que los datos del mundo real se alejan de los datos de entrenamiento.
Implementación en el mundo real
Un filtro de spam que marca cada correo electrónico que contiene el nombre de un remitente específico porque ese remitente envió mucho spam en los datos de entrenamiento, ignorando por completo a los nuevos spammers (sobreajuste).
Un modelo de precio de la vivienda que utiliza sólo metros cuadrados e ignora la ubicación, las habitaciones y las condiciones, por lo que falla gravemente en vecindarios caros (desadaptación).
Un clasificador de imágenes médicas que aprende a detectar la marca de agua del escáner de un hospital en lugar de la enfermedad y falla en otros hospitales (sobreadaptación a una característica espuria).
Trazar la pérdida de entrenamiento versus la pérdida de validación durante el entrenamiento y detenerse cuando la pérdida de validación comienza a aumentar mientras la pérdida de entrenamiento sigue cayendo (detectando el sobreajuste temprano).
Riesgos y barandillas
Diferentes equipos pueden usar el mismo término de manera diferente, por lo tanto, defina el alcance con anticipación.
Los puntos de referencia pueden parecer sólidos, mientras que el desempeño en el mundo real es desigual.
Ignorar la calidad de los datos y los planes de evaluación a menudo genera resultados frágiles.
Hoja de ruta de implementación
Comience con una definición en lenguaje sencillo del resultado que necesita.
Elija una métrica de éxito y una condición de fracaso antes de realizar la prueba.
Ejecute un pequeño piloto con datos representativos, no un conjunto de demostración pulido.
Documente dónde ayuda el sobreajuste y el desajuste y dónde son mejores los métodos más simples.
Sigue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Overfitting and Underfitting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Siguiente guía
Propagación hacia atrás
Preguntas frecuentes
What is Overfitting and Underfitting?
El sobreajuste ocurre cuando un modelo memoriza sus datos de entrenamiento y falla en nuevos ejemplos; el desajuste es cuando es demasiado simple capturar el patrón real. Alcanzar el punto óptimo entre ellos es el desafío central del aprendizaje automático.
Un modelo obtiene una puntuación del 98 % en sus datos de entrenamiento, pero sólo del 71 % en un conjunto de pruebas retenido. ¿Cuál es el problema más probable?
Una gran brecha donde la precisión del entrenamiento es alta pero la precisión de las pruebas es mucho menor es la característica clásica del sobreajuste: el modelo ajusta el ruido en los datos de entrenamiento en lugar del patrón general.
¿Qué escenario describe mejor el desajuste?
Un modelo insuficientemente adaptado es demasiado simple para capturar el patrón subyacente, por lo que su rendimiento es deficiente en todas partes, incluso en los datos con los que fue entrenado.
En el equilibrio entre sesgo y varianza, ¿con qué resultado se asocia más una varianza alta?
Una variación alta significa que el modelo cambia mucho dependiendo de los datos de entrenamiento exactos que ve, lo que conduce a un sobreajuste. El alto sesgo es el extremo opuesto y demasiado simplificado.
Un modelo de incumplimiento de préstamo utiliza sólo la edad del solicitante e ignora los ingresos, las deudas y el historial crediticio. Tiene un rendimiento deficiente tanto en entrenamiento como en datos nuevos. ¿Qué deberías hacer?
Un desempeño deficiente en todas partes indica falta de adaptación. La solución es aumentar la capacidad del modelo, a menudo agregando características informativas, para que pueda representar la verdadera relación.
¿Por qué es esencial un conjunto de pruebas o validación retenido para detectar el sobreajuste?
El sobreajuste es invisible si sólo nos fijamos en la precisión del entrenamiento. Evaluar sobre datos invisibles expone la brecha entre la memorización y la generalización genuina.