Normalisation de groupe
La normalisation de groupe est une technique qui stabilise l'entraînement du réseau neuronal en normalisant les caractéristiques au sein de petits groupes de canaux, indépendamment pour chaque exemple.
Aperçu
It matters because, unlike Batch Normalization, it works well even when batches are tiny.
Plongée profonde
Les couches de normalisation maintiennent les chiffres circulant à travers un réseau à bonne échelle, ce qui accélère et stabilise la formation. Pour ce faire, la normalisation par lots calcule la moyenne et la variance de chaque caractéristique sur l'ensemble du mini-lot, mais cela le rend fragile lorsque les lots sont petits, car les statistiques deviennent bruyantes et peu fiables. La normalisation de groupe, introduite par Wu et He en 2018, supprime entièrement le lot de l'équation. Pour chaque exemple individuel, il divise les canaux en un nombre fixe de groupes, puis normalise chaque groupe en utilisant uniquement les propres valeurs de cet exemple. Étant donné que le calcul ne dépend jamais d'autres exemples du lot, les performances restent stables, que le lot contienne 32 images ou une seule, ce qui le rend populaire dans les tâches de détection, de segmentation et de vision gourmandes en mémoire.
Aperçu technique
Group Norm calcule la moyenne et la variance sur les dimensions spatiales et sur les canaux au sein de chaque groupe, par échantillon. Il normalise ensuite la moyenne et la variance unitaire nulles et applique l'échelle (gamma) et le décalage (bêta) appris par canal. Il généralise d'autres schémas : avec un groupe, cela devient une normalisation de couche, et avec un canal par groupe, cela devient une normalisation d'instance. Le nombre de groupes est un hyperparamètre, souvent défini sur 32.
Impact stratégique
Décisions plus claires
Il vous aide à séparer les affirmations techniques claires du langage marketing.
Coût et budget
Vous pouvez poser de meilleures questions de mise en œuvre avant de dépenser de l'argent ou du temps.
Équipe et flux de travail
Les équipes partageant une compréhension commune prennent de meilleures décisions en matière de produits, de politiques et d’apprentissage.
L’avenir de la normalisation des groupes
La normalisation de groupe reste le choix incontournable partout où les lots doivent être petits, comme pour la détection et la segmentation haute résolution, les modèles 3D et vidéo et la formation avec une mémoire limitée. Il est également intégré dans des architectures génératives largement utilisées comme les U-Nets dans les modèles de diffusion. À mesure que les modèles se développent et que la pression de la mémoire réduit la taille des lots, les normalisateurs indépendants des lots, parmi lesquels Group Norm aux côtés de Layer Norm, resteront probablement des éléments de base par défaut, avec la poursuite de la recherche sur les hybrides et les alternatives sans normalisation.
Mise en œuvre dans le monde réel
Détection d'objets et segmentation d'instances (par exemple, modèles de style Mask R-CNN) entraînées avec de très petits lots par GPU.
Les dorsales U-Net à l'intérieur des générateurs d'images de diffusion, où Group Norm stabilise les échelles de fonctionnalités.
Les réseaux 3D et vidéo où une utilisation élevée de la mémoire réduit la taille des lots à un ou deux.
Affiner les modèles de vision à grande échelle sur un matériel limité où les petits lots rendent les statistiques de Batch Norm peu fiables.
Risques et garde-fous
Différentes équipes peuvent utiliser le même terme différemment, alors définissez la portée dès le début.
Les benchmarks peuvent paraître solides alors que les performances réelles sont inégales.
Ignorer la qualité des données et les plans d’évaluation crée souvent des résultats fragiles.
Feuille de route de mise en œuvre
Commencez par une définition en langage simple du résultat dont vous avez besoin.
Choisissez une mesure de réussite et une condition d’échec avant de tester.
Exécutez un petit pilote avec des données représentatives, pas un ensemble de démonstration raffiné.
Documentez où la normalisation de groupe est utile et où les méthodes plus simples sont meilleures.
Continuez à explorer
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Group Normalization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Guide suivant
Normalisation des récompenses groupées dans RLHF
Questions fréquemment posées
What is Group Normalization?
La normalisation de groupe est une technique qui stabilise l'entraînement du réseau neuronal en normalisant les caractéristiques au sein de petits groupes de canaux, indépendamment pour chaque exemple. C’est important car, contrairement à la normalisation par lots, cela fonctionne bien même lorsque les lots sont minuscules.
Quel est le principal avantage de la normalisation de groupe par rapport à la normalisation par lots ?
Étant donné que Group Norm calcule les statistiques par exemple plutôt que sur l'ensemble du lot, il n'est pas dégradé par de petits lots, contrairement à Batch Norm.
Sur quoi la normalisation de groupe calcule-t-elle sa moyenne et sa variance ?
Il divise les canaux en groupes et normalise chaque groupe en utilisant uniquement les valeurs et les emplacements spatiaux de cet exemple unique, en ignorant le reste du lot.
La normalisation de groupe devient la normalisation de couche dans quel cas particulier ?
Avec un seul groupe, tous les canaux sont normalisés ensemble par exemple, ce qui correspond exactement à la normalisation des couches.
La normalisation de groupe devient la normalisation d'instance dans quel cas particulier ?
Si chaque groupe contient un seul canal, chaque canal est normalisé individuellement, par exemple, qui est la normalisation d'instance.
Après normalisation, qu’est-ce que la norme de groupe applique pour restaurer la flexibilité de représentation ?
Comme les autres couches de normalisation, Group Norm comprend des paramètres d'échelle et de décalage apprenables afin que le réseau puisse annuler ou ajuster la normalisation selon les besoins.