Suavizado de etiquetas
El suavizado de etiquetas es un truco de regularización simple que suaviza los objetivos de entrenamiento difíciles y específicos, diciéndole al modelo que la respuesta correcta es muy probable, pero no 100 por ciento segura.
Descripción general
It improves calibration and generalization across image and language models with almost no extra cost.
Buceo profundo
Normalmente, un clasificador se entrena con etiquetas únicas: la clase verdadera obtiene el objetivo 1.0 y todo lo demás 0.0. Combinado con la entropía cruzada y softmax, esto empuja al modelo a hacer que el logit correcto sea infinitamente más grande que el resto, fomentando el exceso de confianza y el sobreajuste. El suavizado de etiquetas reemplaza el objetivo con (1 - épsilon) para la clase verdadera y épsilon/(K-1) distribuido entre las otras clases K, donde épsilon es pequeño (comúnmente 0,1). El modelo ahora apunta a una distribución segura pero no absoluta. Introducido en el trabajo Inception-v3 de 2016 y luego analizado por el grupo de Hinton, mejoró la precisión de ImageNet y es estándar en Transformers, donde el papel original Attention Is All You Need usaba épsilon de 0.1.
Información técnica
Con etiquetas duras, minimizar la entropía cruzada lleva el logit correcto hacia el infinito positivo en relación con otros, lo cual es inalcanzable y lleva los pesos a los extremos. El suavizado establece una brecha óptima finita entre el logit correcto y el resto, por lo que los logit permanecen acotados y el modelo deja de tener la máxima confianza. Los estudios muestran que esto refuerza los grupos de la misma clase y produce probabilidades mejor calibradas, la confianza prevista coincide con la precisión real. La desventaja: puede borrar información detallada sobre similitudes entre clases, lo que a veces perjudica la destilación del conocimiento donde esas relaciones suaves importan.
Impacto Estratégico
Decisiones más claras
Le ayuda a separar las afirmaciones técnicas claras del lenguaje de marketing.
Costo y presupuesto
Puede hacer mejores preguntas sobre implementación antes de gastar dinero o tiempo.
Equipo y flujo de trabajo
Los equipos con conocimientos compartidos toman mejores decisiones sobre productos, políticas y aprendizaje.
El futuro del suavizado de etiquetas
El suavizado de etiquetas sigue siendo un valor predeterminado en el entrenamiento a gran escala, pero la investigación avanza hacia un suavizado adaptativo y aprendido que ajusta épsilon por ejemplo o clase en lugar de usar un valor fijo. Los métodos centrados en la calibración, como la pérdida focal y el escalado de temperatura, a menudo se comparan con él o se combinan con él. A medida que los modelos crecen y las estimaciones de incertidumbre confiables se vuelven críticas para la seguridad, se espera que la suavización sea una herramienta entre muchas para producir puntajes de confianza confiables, con especial atención a su conocido conflicto con la destilación.
Implementación en el mundo real
Clasificación de ImageNet: Inception-v3 utilizó el suavizado de etiquetas (épsilon 0.1) para aumentar la precisión de los primeros y reducir el exceso de confianza.
Traducción automática: el Transformer original aplicó un suavizado de etiquetas de 0,1, intercambiando un poco de perplejidad por puntuaciones BLEU más altas.
Reconocimiento de voz: los objetivos suavizados reducen los errores de reconocimiento excesivos y mejoran la calibración en audio ruidoso.
Modelos de imágenes médicas: el suavizado produce probabilidades mejor calibradas, lo que es importante cuando una puntuación de confianza informa las decisiones clínicas.
Riesgos y barandillas
Diferentes equipos pueden usar el mismo término de manera diferente, por lo tanto, defina el alcance con anticipación.
Los puntos de referencia pueden parecer sólidos, mientras que el desempeño en el mundo real es desigual.
Ignorar la calidad de los datos y los planes de evaluación a menudo genera resultados frágiles.
Hoja de ruta de implementación
Comience con una definición en lenguaje sencillo del resultado que necesita.
Elija una métrica de éxito y una condición de fracaso antes de realizar la prueba.
Ejecute un pequeño piloto con datos representativos, no un conjunto de demostración pulido.
Documente dónde ayuda el suavizado de etiquetas y dónde son mejores los métodos más simples.
Sigue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Label Smoothing quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Siguiente guía
Agrupación de K-medias
Preguntas frecuentes
What is Label Smoothing?
El suavizado de etiquetas es un truco de regularización simple que suaviza los objetivos de entrenamiento difíciles y específicos, diciéndole al modelo que la respuesta correcta es muy probable, pero no 100 por ciento segura. Mejora la calibración y la generalización entre modelos de imagen y lenguaje casi sin costo adicional.
¿Qué significa el cambio de suavizado de etiquetas sobre los objetivos de entrenamiento?
En lugar de un objetivo estricto de 1.0/0.0, el suavizado de etiquetas asigna (1 - épsilon) a la clase verdadera y distribuye épsilon entre las demás.
¿Qué problema con las etiquetas duras de un solo uso soluciona el suavizado?
Minimizar la entropía cruzada en objetivos únicos impulsa el logit correcto hacia el infinito en relación con otros, fomentando el exceso de confianza y el sobreajuste.
¿Qué arquitecturas emblemáticas ayudaron a popularizar el suavizado de etiquetas?
El suavizado de etiquetas se introdujo en el artículo Inception-v3 de 2016 y fue adoptado por Transformer (Attention Is All You Need) con épsilon 0.1.
Además de la precisión, ¿por qué beneficios se conoce el suavizado de etiquetas?
El suavizado mejora la calibración, la confianza prevista se alinea más estrechamente con la verdadera probabilidad de ser correcto.
¿Cuál es una desventaja documentada del suavizado de etiquetas?
Al estrechar los grupos y aplanar las relaciones suaves entre clases, el suavizado puede eliminar información en la que se basa la destilación del conocimiento.