Abandon et régularisation stochastique
Le dropout est une astuce de régularisation qui désactive de manière aléatoire une fraction de neurones à chaque étape d'entraînement, obligeant le réseau à construire des représentations redondantes et robustes.
Aperçu
It became one of the most influential techniques for fighting overfitting in deep learning.
Plongée profonde
Introduit par le groupe de Hinton vers 2012, le décrochage répond à une faiblesse majeure des grands réseaux : les neurones peuvent s'adapter, apprenant à corriger les erreurs de chacun d'une manière qui ne fonctionne que sur les données d'entraînement. À chaque passage vers l'avant pendant l'entraînement, l'abandon règle aléatoirement la sortie de chaque neurone à zéro avec une certaine probabilité p (souvent 0,5 dans les couches denses). Parce que n’importe quel neurone peut disparaître, le réseau ne peut pas s’appuyer sur des partenariats fragiles et doit diffuser des informations utiles entre de nombreuses unités. Cela revient à entraîner un vaste ensemble de réseaux amincis partageant des poids. Au moment du test, l'abandon est désactivé et l'ensemble du réseau est utilisé, avec des activations mises à l'échelle afin que le résultat attendu corresponde à la formation. Le résultat est généralement une meilleure généralisation au prix d’une formation légèrement plus longue.
Aperçu technique
Pendant la formation, chaque unité est conservée avec probabilité (1 moins p) via un masque binaire aléatoire, de sorte que différents sous-réseaux sont échantillonnés à chaque lot. Les frameworks modernes utilisent un abandon inversé : les activations survivantes sont divisées par (1 moins p) au moment du train, donc aucune mise à l'échelle n'est nécessaire lors de l'inférence. Ce caractère aléatoire injecte du bruit qui décourage la co-adaptation et se rapproche de la moyenne sur un nombre exponentiel de sous-réseaux à poids partagé, une forme bon marché d'assemblage.
Impact stratégique
Décisions plus claires
Il vous aide à séparer les affirmations techniques claires du langage marketing.
Coût et budget
Vous pouvez poser de meilleures questions de mise en œuvre avant de dépenser de l'argent ou du temps.
Équipe et flux de travail
Les équipes partageant une compréhension commune prennent de meilleures décisions en matière de produits, de politiques et d’apprentissage.
L'avenir du décrochage scolaire et de la régularisation stochastique
Dans les réseaux de vision convolutive, la normalisation par lots a largement remplacé l'abandon standard, mais des variantes prospèrent ailleurs : les transformateurs appliquent l'abandon aux couches d'attention et de rétroaction, et DropPath (profondeur stochastique) supprime des blocs résiduels entiers. L'abandon de Monte Carlo, qui maintient l'abandon actif lors de l'inférence, est utilisé pour estimer l'incertitude du modèle. Attendez-vous à ce que la régularisation stochastique reste une boîte à outils flexible, adaptée à chaque architecture plutôt qu'une seule recette fixe.
Mise en œuvre dans le monde réel
Ajout d'un calque Dropout avec p autour de 0,5 entre les calques denses d'un classificateur d'image ou de texte dans PyTorch ou Keras
Modèles de transformateur appliquant l'abandon aux poids d'attention et aux activations anticipées pendant le pré-entraînement
Abandon de Monte Carlo, où l'abandon reste activé lors de l'inférence pour produire des estimations d'incertitude pour les prédictions médicales ou critiques pour la sécurité
Profondeur stochastique (DropPath) sautant aléatoirement les blocs résiduels pour régulariser les réseaux très profonds comme les ResNets et les transformateurs de vision
Risques et garde-fous
Différentes équipes peuvent utiliser le même terme différemment, alors définissez la portée dès le début.
Les benchmarks peuvent paraître solides alors que les performances réelles sont inégales.
Ignorer la qualité des données et les plans d’évaluation crée souvent des résultats fragiles.
Feuille de route de mise en œuvre
Commencez par une définition en langage simple du résultat dont vous avez besoin.
Choisissez une mesure de réussite et une condition d’échec avant de tester.
Exécutez un petit pilote avec des données représentatives, pas un ensemble de démonstration raffiné.
Documentez où l'abandon et la régularisation stochastique sont utiles et où les méthodes plus simples sont meilleures.
Continuez à explorer
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Dropout and Stochastic Regularization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Guide suivant
Descente de gradient stochastique avec élan
Questions fréquemment posées
What is Dropout and Stochastic Regularization?
Le dropout est une astuce de régularisation qui désactive de manière aléatoire une fraction de neurones à chaque étape d'entraînement, obligeant le réseau à construire des représentations redondantes et robustes. C’est devenu l’une des techniques les plus influentes pour lutter contre le surapprentissage dans le deep learning.
Que fait le décrochage pendant la formation ?
L'abandon remet à zéro de manière aléatoire chaque neurone avec une probabilité p pendant l'entraînement, de sorte qu'un sous-réseau aminci différent est utilisé à chaque étape.
Pourquoi le décrochage améliore-t-il la généralisation ?
En supprimant des unités de manière aléatoire, l'abandon empêche les neurones de former des partenariats fragiles qui ne fonctionnent que sur les données d'entraînement, améliorant ainsi la robustesse.
Qu’arrive-t-il à l’abandon au moment du test (inférence) ?
Lors de l'inférence, le réseau complet fonctionne avec l'abandon désactivé et les activations sont mises à l'échelle afin que les résultats attendus correspondent à la distribution de formation.
Un taux d'abandon de p = 0,5 dans une couche signifie à peu près quoi lors de l'entraînement ?
Avec p = 0,5, chaque neurone a 50 % de chances d'être remis à zéro, donc en moyenne, environ la moitié est abandonnée par passage vers l'avant.
Qu’est-ce que l’abandon scolaire est souvent décrit comme étant approximatif ?
L'échantillonnage d'un sous-réseau différent à chaque étape équivaut à une moyenne sur un nombre exponentiel de réseaux à poids partagé, une forme d'assemblage bon marché.