A continuaciónSiguiente guía
Descenso de gradiente estocástico con impulso
Fundamentos
GUÍA DE FUNDAMENTOS
Abandono y regularización estocástica
El abandono es un truco de regularización que apaga aleatoriamente una fracción de neuronas durante cada paso de entrenamiento, lo que obliga a la red a crear representaciones sólidas y redundantes.
Escuche esta guíaNarrado por IA · ~2 min
En esta pagina2 minutos de lectura
Descripción general
It became one of the most influential techniques for fighting overfitting in deep learning.
Buceo profundo
Introducido por el grupo de Hinton alrededor de 2012, el abandono aborda una debilidad clave de las redes grandes: las neuronas pueden coadaptarse, aprendiendo a corregir los errores de otras de maneras que solo funcionan con los datos de entrenamiento. En cada paso hacia adelante durante el entrenamiento, la deserción establece aleatoriamente la salida de cada neurona en cero con cierta probabilidad p (a menudo 0,5 en capas densas). Como cualquier neurona puede desaparecer, la red no puede apoyarse en asociaciones frágiles y debe difundir información útil entre muchas unidades. Esto actúa como entrenar un enorme conjunto de redes adelgazadas que comparten pesos. En el momento de la prueba, la deserción se desactiva y se utiliza la red completa, con activaciones escaladas para que el resultado esperado coincida con el entrenamiento. El resultado suele ser una mejor generalización a costa de una formación ligeramente más larga.
Implementación en el mundo real
Agregar una capa de abandono con p alrededor de 0,5 entre capas densas de una imagen o clasificador de texto en PyTorch o Keras
Modelos de transformadores que aplican abandono a pesos de atención y activaciones de retroalimentación durante el preentrenamiento
Abandono de Monte Carlo, donde el abandono se mantiene en la inferencia para producir estimaciones de incertidumbre para predicciones médicas o críticas para la seguridad.
Profundidad estocástica (DropPath) que omite aleatoriamente bloques residuales para regularizar redes muy profundas como ResNets y transformadores de visión.
El futuro de la deserción escolar y la regularización estocástica
En las redes de visión convolucional, la normalización por lotes ha desplazado en gran medida la caída estándar, pero las variantes prosperan en otros lugares: los transformadores aplican la caída a las capas de atención y retroalimentación, y DropPath (profundidad estocástica) elimina bloques residuales completos. La deserción de Monte Carlo, que mantiene la deserción activa en la inferencia, se utiliza para estimar la incertidumbre del modelo. Espere que la regularización estocástica siga siendo un conjunto de herramientas flexible, adaptada por arquitectura en lugar de una única receta fija.
Poniéndolo en práctica
Por qué es importante
- Decisiones más claras. Le ayuda a separar las afirmaciones técnicas claras del lenguaje de marketing.
- Costo y presupuesto. Puede hacer mejores preguntas sobre implementación antes de gastar dinero o tiempo.
- Equipo y flujo de trabajo. Los equipos con conocimientos compartidos toman mejores decisiones sobre productos, políticas y aprendizaje.
cuidado con
- Diferentes equipos pueden usar el mismo término de manera diferente, por lo tanto, defina el alcance con anticipación.
- Los puntos de referencia pueden parecer sólidos, mientras que el desempeño en el mundo real es desigual.
- Ignorar la calidad de los datos y los planes de evaluación a menudo genera resultados frágiles.
Próximos pasos
- Comience con una definición en lenguaje sencillo del resultado que necesita.
- Elija una métrica de éxito y una condición de fracaso antes de realizar la prueba.
- Ejecute un pequeño piloto con datos representativos, no un conjunto de demostración pulido.
- Documente dónde ayuda la deserción y la regularización estocástica y dónde son mejores los métodos más simples.
Sigue explorando
Boletín gratuito
Recibe el resumen diario de IA
Tres noticias verificadas sobre IA cada mañana de lunes a viernes, explicadas con claridad. Gratis para siempre y sin anuncios.
Un correo cada día laborable. Date de baja con un clic. Nunca vendemos ni compartimos tu dirección.
Ponte a prueba
Take the Dropout and Stochastic Regularization quiz
Corrección inmediata en cada respuesta y un certificado para compartir, con un ID verificable, cuando apruebas un curso.
Apoya la educación gratuita sobre IA. AI Understanding es una organización sin fines de lucro 501(c)(3): sin anuncios ni muros de pago, nunca. Hacer una donación
Preguntas frecuentes
What is Dropout and Stochastic Regularization?
El abandono es un truco de regularización que apaga aleatoriamente una fracción de neuronas durante cada paso de entrenamiento, lo que obliga a la red a crear representaciones sólidas y redundantes. Se convirtió en una de las técnicas más influyentes para combatir el sobreajuste en el aprendizaje profundo.
¿Qué hace el abandono durante el entrenamiento?
La deserción pone a cero aleatoriamente cada neurona con probabilidad p durante el entrenamiento, por lo que se utiliza una subred adelgazada diferente en cada paso.
¿Por qué la deserción escolar mejora la generalización?
Al eliminar unidades aleatoriamente, la deserción evita que las neuronas formen asociaciones frágiles que solo funcionan con datos de entrenamiento, lo que mejora la solidez.
¿Qué sucede con el abandono en el momento del examen (inferencia)?
En la inferencia, la red completa se ejecuta con la desconexión desactivada y las activaciones se escalan para que los resultados esperados coincidan con la distribución del entrenamiento.
¿Qué significa aproximadamente una tasa de abandono de p = 0,5 en una capa durante el entrenamiento?
Con p = 0,5, cada neurona tiene un 50 por ciento de posibilidades de ser puesta a cero, por lo que, en promedio, aproximadamente la mitad se eliminan por cada pase hacia adelante.
¿Cómo se describe a menudo como aproximado el abandono escolar?
Al muestrear una subred diferente, cada paso se aproxima al promedio de un número exponencial de redes de peso compartido, una forma de ensamblaje económico.
sigue aprendiendo
Guías relacionadas
Más guías seleccionadas para este tema.