À suivreGuide suivant
Descente de gradient stochastique avec élan
Fondamentaux
GUIDE des fondamentaux
Abandon et régularisation stochastique
Le dropout est une astuce de régularisation qui désactive de manière aléatoire une fraction de neurones à chaque étape d'entraînement, obligeant le réseau à construire des représentations redondantes et robustes.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
C’est devenu l’une des techniques les plus influentes pour lutter contre le surapprentissage dans le deep learning.
Plongée profonde
Introduit par le groupe de Hinton vers 2012, le décrochage répond à une faiblesse majeure des grands réseaux : les neurones peuvent s'adapter, apprenant à corriger les erreurs de chacun d'une manière qui ne fonctionne que sur les données d'entraînement. À chaque passage vers l'avant pendant l'entraînement, l'abandon règle aléatoirement la sortie de chaque neurone à zéro avec une certaine probabilité p (souvent 0,5 dans les couches denses). Parce que n’importe quel neurone peut disparaître, le réseau ne peut pas s’appuyer sur des partenariats fragiles et doit diffuser des informations utiles entre de nombreuses unités. Cela revient à entraîner un vaste ensemble de réseaux amincis partageant des poids. Au moment du test, l'abandon est désactivé et l'ensemble du réseau est utilisé, avec des activations mises à l'échelle afin que le résultat attendu corresponde à la formation. Le résultat est généralement une meilleure généralisation au prix d’une formation légèrement plus longue.
Mise en œuvre dans le monde réel
Ajout d'un calque Dropout avec p autour de 0,5 entre les calques denses d'un classificateur d'image ou de texte dans PyTorch ou Keras
Modèles de transformateur appliquant l'abandon aux poids d'attention et aux activations anticipées pendant le pré-entraînement
Abandon de Monte Carlo, où l'abandon reste activé lors de l'inférence pour produire des estimations d'incertitude pour les prédictions médicales ou critiques pour la sécurité
Profondeur stochastique (DropPath) sautant aléatoirement les blocs résiduels pour régulariser les réseaux très profonds comme les ResNets et les transformateurs de vision
L'avenir du décrochage scolaire et de la régularisation stochastique
Dans les réseaux de vision convolutive, la normalisation par lots a largement remplacé l'abandon standard, mais des variantes prospèrent ailleurs : les transformateurs appliquent l'abandon aux couches d'attention et de rétroaction, et DropPath (profondeur stochastique) supprime des blocs résiduels entiers. L'abandon de Monte Carlo, qui maintient l'abandon actif lors de l'inférence, est utilisé pour estimer l'incertitude du modèle. Attendez-vous à ce que la régularisation stochastique reste une boîte à outils flexible, adaptée à chaque architecture plutôt qu'une seule recette fixe.
Le mettre en pratique
Pourquoi c'est important
- Décisions plus claires. Il vous aide à séparer les affirmations techniques claires du langage marketing.
- Coût et budget. Vous pouvez poser de meilleures questions de mise en œuvre avant de dépenser de l'argent ou du temps.
- Équipe et flux de travail. Les équipes partageant une compréhension commune prennent de meilleures décisions en matière de produits, de politiques et d’apprentissage.
Attention à
- Différentes équipes peuvent utiliser le même terme différemment, alors définissez la portée dès le début.
- Les benchmarks peuvent paraître solides alors que les performances réelles sont inégales.
- Ignorer la qualité des données et les plans d’évaluation crée souvent des résultats fragiles.
Prochaines étapes
- Commencez par une définition en langage simple du résultat dont vous avez besoin.
- Choisissez une mesure de réussite et une condition d’échec avant de tester.
- Exécutez un petit pilote avec des données représentatives, pas un ensemble de démonstration raffiné.
- Documentez où l'abandon et la régularisation stochastique sont utiles et où les méthodes plus simples sont meilleures.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the Dropout and Stochastic Regularization quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
Qu'est-ce que l'abandon et la régularisation stochastique ?
Le dropout est une astuce de régularisation qui désactive de manière aléatoire une fraction de neurones à chaque étape d'entraînement, obligeant le réseau à construire des représentations redondantes et robustes. C’est devenu l’une des techniques les plus influentes pour lutter contre le surapprentissage dans le deep learning.
Que fait le décrochage pendant la formation ?
L'abandon remet à zéro de manière aléatoire chaque neurone avec une probabilité p pendant l'entraînement, de sorte qu'un sous-réseau aminci différent est utilisé à chaque étape.
Pourquoi le décrochage améliore-t-il la généralisation ?
En supprimant des unités de manière aléatoire, l'abandon empêche les neurones de former des partenariats fragiles qui ne fonctionnent que sur les données d'entraînement, améliorant ainsi la robustesse.
Qu’arrive-t-il à l’abandon au moment du test (inférence) ?
Lors de l'inférence, le réseau complet fonctionne avec l'abandon désactivé et les activations sont mises à l'échelle afin que les résultats attendus correspondent à la distribution de formation.
Un taux d'abandon de p = 0,5 dans une couche signifie à peu près quoi lors de l'entraînement ?
Avec p = 0,5, chaque neurone a 50 % de chances d'être remis à zéro, donc en moyenne, environ la moitié est abandonnée par passage vers l'avant.
Qu’est-ce que l’abandon scolaire est souvent décrit comme étant approximatif ?
L'échantillonnage d'un sous-réseau différent à chaque étape équivaut à une moyenne sur un nombre exponentiel de réseaux à poids partagé, une forme d'assemblage bon marché.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet