Abandono y regularización estocástica
El abandono es un truco de regularización que apaga aleatoriamente una fracción de neuronas durante cada paso de entrenamiento, lo que obliga a la red a crear representaciones sólidas y redundantes.
Descripción general
It became one of the most influential techniques for fighting overfitting in deep learning.
Buceo profundo
Introducido por el grupo de Hinton alrededor de 2012, el abandono aborda una debilidad clave de las redes grandes: las neuronas pueden coadaptarse, aprendiendo a corregir los errores de otras de maneras que solo funcionan con los datos de entrenamiento. En cada paso hacia adelante durante el entrenamiento, la deserción establece aleatoriamente la salida de cada neurona en cero con cierta probabilidad p (a menudo 0,5 en capas densas). Como cualquier neurona puede desaparecer, la red no puede apoyarse en asociaciones frágiles y debe difundir información útil entre muchas unidades. Esto actúa como entrenar un enorme conjunto de redes adelgazadas que comparten pesos. En el momento de la prueba, la deserción se desactiva y se utiliza la red completa, con activaciones escaladas para que el resultado esperado coincida con el entrenamiento. El resultado suele ser una mejor generalización a costa de una formación ligeramente más larga.
Información técnica
Durante el entrenamiento, cada unidad se mantiene con probabilidad (1 menos p) a través de una máscara binaria aleatoria, por lo que se muestrean diferentes subredes en cada lote. Los marcos modernos utilizan abandono invertido: las activaciones supervivientes se dividen por (1 menos p) en el momento del tren, por lo que no es necesario escalar en la inferencia. Esta aleatoriedad inyecta ruido que desalienta la coadaptación y aproxima el promedio sobre un número exponencial de subredes de peso compartido, una forma barata de ensamblaje.
Impacto Estratégico
Decisiones más claras
Le ayuda a separar las afirmaciones técnicas claras del lenguaje de marketing.
Costo y presupuesto
Puede hacer mejores preguntas sobre implementación antes de gastar dinero o tiempo.
Equipo y flujo de trabajo
Los equipos con conocimientos compartidos toman mejores decisiones sobre productos, políticas y aprendizaje.
El futuro de la deserción escolar y la regularización estocástica
En las redes de visión convolucional, la normalización por lotes ha desplazado en gran medida la caída estándar, pero las variantes prosperan en otros lugares: los transformadores aplican la caída a las capas de atención y retroalimentación, y DropPath (profundidad estocástica) elimina bloques residuales completos. La deserción de Monte Carlo, que mantiene la deserción activa en la inferencia, se utiliza para estimar la incertidumbre del modelo. Espere que la regularización estocástica siga siendo un conjunto de herramientas flexible, adaptada por arquitectura en lugar de una única receta fija.
Implementación en el mundo real
Agregar una capa de abandono con p alrededor de 0,5 entre capas densas de una imagen o clasificador de texto en PyTorch o Keras
Modelos de transformadores que aplican abandono a pesos de atención y activaciones de retroalimentación durante el preentrenamiento
Abandono de Monte Carlo, donde el abandono se mantiene en la inferencia para producir estimaciones de incertidumbre para predicciones médicas o críticas para la seguridad.
Profundidad estocástica (DropPath) que omite aleatoriamente bloques residuales para regularizar redes muy profundas como ResNets y transformadores de visión.
Riesgos y barandillas
Diferentes equipos pueden usar el mismo término de manera diferente, por lo tanto, defina el alcance con anticipación.
Los puntos de referencia pueden parecer sólidos, mientras que el desempeño en el mundo real es desigual.
Ignorar la calidad de los datos y los planes de evaluación a menudo genera resultados frágiles.
Hoja de ruta de implementación
Comience con una definición en lenguaje sencillo del resultado que necesita.
Elija una métrica de éxito y una condición de fracaso antes de realizar la prueba.
Ejecute un pequeño piloto con datos representativos, no un conjunto de demostración pulido.
Documente dónde ayuda la deserción y la regularización estocástica y dónde son mejores los métodos más simples.
Sigue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Dropout and Stochastic Regularization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Siguiente guía
Descenso de gradiente estocástico con impulso
Preguntas frecuentes
What is Dropout and Stochastic Regularization?
El abandono es un truco de regularización que apaga aleatoriamente una fracción de neuronas durante cada paso de entrenamiento, lo que obliga a la red a crear representaciones sólidas y redundantes. Se convirtió en una de las técnicas más influyentes para combatir el sobreajuste en el aprendizaje profundo.
¿Qué hace el abandono durante el entrenamiento?
La deserción pone a cero aleatoriamente cada neurona con probabilidad p durante el entrenamiento, por lo que se utiliza una subred adelgazada diferente en cada paso.
¿Por qué la deserción escolar mejora la generalización?
Al eliminar unidades aleatoriamente, la deserción evita que las neuronas formen asociaciones frágiles que solo funcionan con datos de entrenamiento, lo que mejora la solidez.
¿Qué sucede con el abandono en el momento del examen (inferencia)?
En la inferencia, la red completa se ejecuta con la desconexión desactivada y las activaciones se escalan para que los resultados esperados coincidan con la distribución del entrenamiento.
¿Qué significa aproximadamente una tasa de abandono de p = 0,5 en una capa durante el entrenamiento?
Con p = 0,5, cada neurona tiene un 50 por ciento de posibilidades de ser puesta a cero, por lo que, en promedio, aproximadamente la mitad se eliminan por cada pase hacia adelante.
¿Cómo se describe a menudo como aproximado el abandono escolar?
Al muestrear una subred diferente, cada paso se aproxima al promedio de un número exponencial de redes de peso compartido, una forma de ensamblaje económico.