GUIDE des fondamentaux
Décroissance du poids et régularisation L2
La perte de poids est une technique simple et puissante qui pousse le poids d'un modèle vers zéro pendant l'entraînement, le décourageant de trop s'appuyer sur une seule fonctionnalité.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
Il réduit le surapprentissage et est l’un des régularisateurs les plus utilisés en apprentissage profond.
Plongée profonde
Lorsqu'un modèle s'entraîne, il peut s'accrocher au bruit dans les données en augmentant des poids importants et finement réglés qui s'adaptent parfaitement à l'ensemble d'entraînement mais se généralisent mal. La régularisation L2 combat cela en ajoutant une pénalité proportionnelle à la somme des poids au carré à la fonction de perte. L'optimiseur a désormais deux objectifs : ajuster les données et maintenir des pondérations faibles, afin d'opter pour des solutions plus fluides et plus robustes. La perte de poids est l’idée étroitement liée de réduire chaque poids d’une petite fraction à chaque étape de mise à jour. Avec une descente de gradient simple, les deux sont mathématiquement équivalents, mais avec des optimiseurs adaptatifs comme Adam, ils diffèrent, c'est pourquoi AdamW a été introduit pour découpler la décroissance de la mise à jour basée sur le gradient et la faire se comporter correctement.
Mise en œuvre dans le monde réel
Ajout deweight_decay dans l'optimiseur AdamW ou SGD de PyTorch lors de la formation des classificateurs d'images pour limiter le surajustement
Ajustement du coefficient lambda dans la régression de crête, le modèle linéaire classique pénalisé par L2, pour stabiliser les prédictions sur les caractéristiques corrélées
Recettes de pré-entraînement de grands modèles de langage qui établissent une légère perte de poids (souvent autour de 0,1) parallèlement à un calendrier de taux d'apprentissage
Combiner la perte de poids avec l'augmentation et l'abandon des données pour empêcher un petit modèle d'imagerie médicale de mémoriser des analyses d'entraînement limitées
L'avenir de la perte de poids et de la régularisation L2
La perte de poids reste un ingrédient par défaut dans les recettes de formation pour les grands modèles de langage et les transformateurs de vision, et AdamW est désormais l'optimiseur standard pour eux. Les recherches se poursuivent sur la façon dont la dégradation interagit avec les calendriers de taux d'apprentissage, les couches de normalisation et l'échelle du modèle, puisque sa force effective change à mesure que les modèles se développent. Attendez-vous à un réglage de la décroissance plus fondé sur des principes, éventuellement par couche ou en fonction du calendrier, à mesure que la recherche automatisée d'hyperparamètres et les études de lois d'échelle mûrissent.
Le mettre en pratique
Pourquoi c'est important
- Décisions plus claires. Il vous aide à séparer les affirmations techniques claires du langage marketing.
- Coût et budget. Vous pouvez poser de meilleures questions de mise en œuvre avant de dépenser de l'argent ou du temps.
- Équipe et flux de travail. Les équipes partageant une compréhension commune prennent de meilleures décisions en matière de produits, de politiques et d’apprentissage.
Attention à
- Différentes équipes peuvent utiliser le même terme différemment, alors définissez la portée dès le début.
- Les benchmarks peuvent paraître solides alors que les performances réelles sont inégales.
- Ignorer la qualité des données et les plans d’évaluation crée souvent des résultats fragiles.
Prochaines étapes
- Commencez par une définition en langage simple du résultat dont vous avez besoin.
- Choisissez une mesure de réussite et une condition d’échec avant de tester.
- Exécutez un petit pilote avec des données représentatives, pas un ensemble de démonstration raffiné.
- Documentez où la perte de poids et la régularisation L2 sont utiles et où les méthodes plus simples sont meilleures.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the Weight Decay and L2 Regularization quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
Qu’est-ce que la perte de poids et la régularisation L2 ?
La perte de poids est une technique simple et puissante qui pousse le poids d'un modèle vers zéro pendant l'entraînement, le décourageant de trop s'appuyer sur une seule fonctionnalité. Il réduit le surapprentissage et est l’un des régularisateurs les plus utilisés en apprentissage profond.
Qu'ajoute la régularisation L2 à la fonction de perte ?
La régularisation L2 ajoute lambda fois la somme des poids au carré, pénalisant les poids importants et encourageant des solutions plus petites et plus fluides.
Quel est le principal problème que la perte de poids aide à prévenir ?
En gardant des poids petits, la dégradation des poids décourage le modèle d'ajuster le bruit, améliorant ainsi la généralisation à de nouvelles données.
Dans quelle direction la dégradation du poids pousse-t-elle les poids du modèle ?
La diminution du poids réduit les poids vers zéro à chaque mise à jour, c'est pourquoi elle est parfois décrite comme une « dégradation » des poids.
Pourquoi AdamW a-t-il été introduit ?
Chez Adam, l'intégration de L2 dans la perte interagit mal avec la mise à l'échelle par paramètre ; AdamW applique la décroissance séparément pour restaurer le retrait uniforme prévu.
Pour une descente de gradient stochastique simple, quel est le rapport entre la régularisation L2 et la décroissance du poids ?
Avec SGD simple, l'ajout d'une pénalité L2 à la perte produit la même mise à jour qu'une diminution directe des poids, donc les deux sont équivalents.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet