GUIDE Technique
Moyenne de poids stochastique
La moyenne stochastique du poids (SWA) prend une simple moyenne des poids du modèle à partir de plusieurs points tard dans l'entraînement au lieu de simplement conserver l'instantané final.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
This cheap trick often lands the model in a flatter, wider region of the loss landscape, which tends to generalize noticeably better on unseen data.
Plongée profonde
Introduit par Izmailov, Wilson et ses collègues en 2018, SWA exploite l'observation selon laquelle le SGD avec un taux d'apprentissage constant ou cyclique ne converge pas vers un point : il rebondit au bord d'une large vallée plate. Plutôt que de choisir l'un de ces points d'arrêt bruyants, SWA exécute un taux d'apprentissage modérément élevé (souvent constant ou cyclique) pour les époques finales et fait la moyenne des poids qu'il visite, généralement à chaque époque. Les poids moyens se situent plus près du centre de la région plate. Étant donné que les statistiques de normalisation par lots sont calculées pour des poids spécifiques, SWA nécessite une passe supplémentaire sur les données pour recalculer les moyennes et les variances courantes du BN pour le modèle moyenné. Le coût est essentiellement gratuit et les gains de précision sont cohérents entre les classificateurs d’images et au-delà.
Mise en œuvre dans le monde réel
Améliorer la précision des tests des classificateurs d'images ResNet et DenseNet sur CIFAR et ImageNet sans coût d'inférence supplémentaire.
SWAG (SWA-Gaussian) produit des estimations d'incertitude calibrées pour les prévisions sensibles à la sécurité à partir d'une seule exécution d'entraînement.
EMA de poids stabilisant le réseau d'échantillonnage dans les générateurs d'images de diffusion comme Stable Diffusion.
Construire des « soupes modèles » en faisant la moyenne de plusieurs points de contrôle affinés pour améliorer la robustesse sans recyclage.
L’avenir de la moyenne de poids stochastique
SWA a engendré des variantes comme SWA-Gaussian (SWAG) pour l'incertitude bayésienne bon marché, et l'idée de moyenne sous-tend désormais les astuces de moyenne mobile exponentielle largement utilisées dans les modèles de diffusion, l'apprentissage auto-supervisé et le pré-entraînement de grands modèles. Attendez-vous à ce que la moyenne du poids reste un « repas gratuit » par défaut dans les recettes d’entraînement, les recherches l’étendant à la fusion de modèles formés indépendamment (soupes modèles) et à l’amélioration de l’étalonnage parallèlement à la précision brute.
Le mettre en pratique
Pourquoi c'est important
- Coût et budget. Les décisions en matière d'architecture déterminent les performances et les coûts d'exploitation pendant des années.
- Décisions plus claires. La formation technique aide les équipes à choisir la bonne pile, pas seulement la plus récente.
- Contrôle qualité. De meilleurs choix d’ingénierie réduisent les incidents de fiabilité en production.
Attention à
- L’optimisation d’un benchmark peut masquer des faiblesses plus larges du système.
- Les coûts d’infrastructure et de maintenance sont souvent sous-estimés.
- Les lacunes en matière de sécurité et d’observabilité peuvent se creuser à mesure que les systèmes deviennent plus complexes.
Prochaines étapes
- Définissez les objectifs de latence, de qualité et de coût avant la mise en œuvre.
- Benchmark dans des conditions de charge et de données réalistes.
- Surveillance des instruments pour détecter les erreurs, la dérive et l'impact sur l'utilisateur.
- Préparez les chemins de restauration et de réponse aux incidents avant la mise à l’échelle.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the Stochastic Weight Averaging quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
What is Stochastic Weight Averaging?
La moyenne stochastique du poids (SWA) prend une simple moyenne des poids du modèle à partir de plusieurs points tard dans l'entraînement au lieu de simplement conserver l'instantané final. Cette astuce bon marché place souvent le modèle dans une région plus plate et plus large du paysage des pertes, qui a tendance à se généraliser sensiblement mieux sur des données invisibles.
Quelle est la moyenne réelle de la moyenne de poids stochastique ?
SWA fait la moyenne des paramètres du modèle (poids) collectés à plusieurs points de contrôle au cours de la phase finale de la formation, et non des prédictions ou des gradients.
Pourquoi SWA tend-il à améliorer la généralisation ?
La moyenne déplace la solution vers le centre d'une région plate de la surface de perte, et les minima plats se généralisent mieux car les pertes d'entraînement et de test restent alignées.
Quelle étape supplémentaire SWA nécessite-t-il pour les réseaux qui utilisent la normalisation par lots ?
Étant donné que les statistiques BN dépendent de pondérations spécifiques, le modèle moyenné nécessite un passage supplémentaire sur les données pour recalculer les moyennes courantes et les variances.
Quel comportement de taux d'apprentissage est généralement utilisé pendant la phase de moyenne SWA ?
SWA maintient un taux d'apprentissage constant ou cyclique modérément élevé, de sorte que SGD continue d'explorer la vaste région plate dont les points sont ensuite moyennés.
Comment le coût d'inférence de SWA se compare-t-il à un ensemble traditionnel de modèles N ?
SWA regroupe de nombreux points de contrôle en un seul ensemble de poids moyen, de sorte que l'inférence coûte le même prix qu'un modèle unique plutôt que N.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet