Quiz sur la normalisation des lots

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. Que normalise la normalisation par lots ?
   • Les entrées d'une couche, à travers les exemples du mini-lot actuel
   • Les étiquettes de sortie finales du réseau
   • L'échéancier du taux d'apprentissage dans le temps
   • La taille de l'ensemble de données d'entraînement
2. Pourquoi la normalisation par lots inclut-elle les paramètres apprenables gamma et bêta ?
   • Pour augmenter la taille de l'ensemble de données
   • Laisser le réseau évoluer et modifier les valeurs normalisées, en préservant le pouvoir de représentation
   • Pour laisser tomber des neurones au hasard pendant l'entraînement
   • Pour calculer la fonction de perte
3. Quel est l’avantage pratique fréquemment cité de la normalisation par lots ?
   • Il élimine le besoin de données de formation
   • Cela garantit que le modèle ne peut pas être surajusté
   • Il permet des taux d'apprentissage plus élevés et une convergence plus rapide et plus stable
   • Il supprime le besoin d’une fonction d’activation
4. Au moment de l'inférence (prédiction sur de nouvelles données), quelles statistiques la normalisation par lots utilise-t-elle ?
   • La moyenne et la variance de l'entrée unique actuelle uniquement
   • Statistiques générées aléatoirement à chaque fois
   • Les statistiques de l'ensemble de test calculées à l'avance
   • Moyennes mobiles de moyenne et de variance accumulées pendant l'entraînement
5. Pourquoi la normalisation des lots peut-elle mal se comporter avec des lots de très petite taille ?
   • Les statistiques par lots deviennent des estimations bruyantes et peu fiables de la véritable distribution
   • Les petits lots rendent le modèle trop volumineux pour tenir en mémoire
   • Il désactive les fonctions d'activation
   • Les petits lots forcent l'utilisation de la régularisation L1
6. Quelle technique de normalisation est la plus couramment utilisée dans les architectures de transformateur comme alternative à la normalisation par lots ?
   • Normalisation des abandons
   • Normalisation des couches
   • Normalisation L2 de la perte
   • Découpage de dégradé
7. Why does BatchNorm use running averages during inference instead of the current test batch’s statistics?
   • To retrain the model on test data
   • To make all activations exactly zero
   • So a prediction does not depend on which other examples happen to share the batch
   • To eliminate learned gamma and beta
8. Where is BatchNorm commonly placed within a layer block according to the guide?
   • Only after the final prediction
   • Before the input data are loaded
   • Inside the optimizer update
   • Between the linear transformation and its activation function