À suivreGuide suivant
Inférence par lots ou en temps réel
Technique
GUIDE Technique
Normalisation par lots
La normalisation par lots est une technique qui redimensionne les entrées de chaque couche d'un réseau neuronal pendant l'entraînement, ce qui rend l'entraînement des réseaux profonds plus rapide et plus fiable.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
C’est devenu l’une des astuces les plus utilisées en matière d’apprentissage profond.
Plongée profonde
À mesure que les données circulent à travers un réseau profond, la distribution des valeurs alimentant chaque couche ne cesse de changer à mesure que les couches précédentes se mettent à jour, ce qui ralentit et déstabilise la formation. La normalisation par lots, introduite par Ioffe et Szegedy en 2015, résout ce problème en normalisant les entrées de chaque couche dans le mini-lot actuel afin qu'elles aient une moyenne et une variance unitaire à peu près nulles. Il applique ensuite deux paramètres apprenables, gamma et bêta, qui permettent au réseau d'évoluer et de décaler les valeurs normalisées si cela aide, de sorte qu'il ne perd aucun pouvoir de représentation. Les bénéfices sont importants : les réseaux tolèrent des taux d’apprentissage plus élevés, convergent sur moins d’époques, sont moins sensibles à l’initialisation du poids et généralisent souvent un peu mieux. Le problème est que le comportement dépend des statistiques des lots, donc de très petits lots peuvent le rendre instable.
Mise en œuvre dans le monde réel
Insertion de couches de normes par lots dans un classificateur d'images ResNet afin qu'il puisse s'entraîner avec un taux d'apprentissage plus élevé et converger en beaucoup moins d'époques.
Stabiliser la formation d'un réseau convolutif profond pour l'imagerie médicale qui divergeait auparavant sans normalisation.
Réduire la sensibilité à l'initialisation du poids dans un CNN personnalisé, afin que les ingénieurs passent moins de temps à régler manuellement les valeurs de départ.
Passage des statistiques par lots en mode formation aux moyennes courantes stockées lors du déploiement d'un modèle afin que les prédictions d'une seule image restent cohérentes.
L'avenir de la normalisation par lots
La normalisation par lots reste un outil essentiel dans les modèles de vision convolutive, mais sa dépendance aux statistiques par lots est délicate pour les réseaux récurrents, les petits lots et la formation distribuée. Cela a conduit à l'adoption d'alternatives telles que la normalisation des couches, qui normalise les fonctionnalités dans un seul exemple et domine désormais les architectures de transformateurs, ainsi que la normalisation des groupes et des instances pour des domaines spécifiques. La recherche se poursuit sur des réseaux sans normalisation qui correspondent à leurs avantages grâce à une initialisation et une mise à l'échelle minutieuses. Attendez-vous à ce que la normalisation reste essentielle, la variante spécifique étant choisie pour s'adapter à l'architecture.
Le mettre en pratique
Pourquoi c'est important
- Coût et budget. Les décisions en matière d'architecture déterminent les performances et les coûts d'exploitation pendant des années.
- Décisions plus claires. La formation technique aide les équipes à choisir la bonne pile, pas seulement la plus récente.
- Contrôle qualité. De meilleurs choix d’ingénierie réduisent les incidents de fiabilité en production.
Attention à
- L’optimisation d’un benchmark peut masquer des faiblesses plus larges du système.
- Les coûts d’infrastructure et de maintenance sont souvent sous-estimés.
- Les lacunes en matière de sécurité et d’observabilité peuvent se creuser à mesure que les systèmes deviennent plus complexes.
Prochaines étapes
- Définissez les objectifs de latence, de qualité et de coût avant la mise en œuvre.
- Benchmark dans des conditions de charge et de données réalistes.
- Surveillance des instruments pour détecter les erreurs, la dérive et l'impact sur l'utilisateur.
- Préparez les chemins de restauration et de réponse aux incidents avant la mise à l’échelle.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the Batch Normalization quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
Qu’est-ce que la normalisation par lots ?
La normalisation par lots est une technique qui redimensionne les entrées de chaque couche d'un réseau neuronal pendant l'entraînement, ce qui rend l'entraînement des réseaux profonds plus rapide et plus fiable. C’est devenu l’une des astuces les plus utilisées en matière d’apprentissage profond.
Que normalise la normalisation par lots ?
La norme par lots standardise les entrées d'une couche à l'aide de la moyenne et de la variance calculées sur le mini-lot actuel, maintenant ainsi les activations dans une plage stable au fur et à mesure de la progression de l'entraînement.
Pourquoi la normalisation par lots inclut-elle les paramètres apprenables gamma et bêta ?
Après avoir normalisé la moyenne et la variance unitaire à zéro, gamma et bêta permettent au réseau de redimensionner et de re-décaler les valeurs si cela est bénéfique, de sorte que la normalisation ne limite pas ce que la couche peut représenter.
Quel est l’avantage pratique fréquemment cité de la normalisation par lots ?
En maintenant les entrées de couche à bonne échelle, la norme par lots permet aux réseaux de s'entraîner avec des taux d'apprentissage plus élevés, de converger plus rapidement et d'être moins sensibles à l'initialisation.
Au moment de l'inférence (prédiction sur de nouvelles données), quelles statistiques la normalisation par lots utilise-t-elle ?
L'utilisation de statistiques de lots en direct lors de l'inférence ferait dépendre une prédiction des autres exemples partageant le lot. Au lieu de cela, la norme par lots utilise des moyennes courantes fixes stockées pendant l'entraînement.
Pourquoi la normalisation des lots peut-elle mal se comporter avec des lots de très petite taille ?
La norme du lot dépend de l'estimation de la moyenne et de la variance par rapport au lot. Avec très peu d’exemples, ces estimations sont bruitées, ce qui peut déstabiliser la formation.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet