Quiz sur la moyenne stochastique du poids

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. Quelle est la moyenne réelle de la moyenne de poids stochastique ?
   • Les poids du modèle échantillonnés à plusieurs points tard dans la formation
   • Les prédictions de plusieurs modèles formés séparément
   • Les dégradés calculés sur tous les mini-lots
   • Les taux d'apprentissage utilisés à chaque époque
2. Pourquoi SWA tend-il à améliorer la généralisation ?
   • Il mémorise plus précisément l'ensemble d'entraînement
   • Il trouve des minimums plus larges et plus plats, plus robustes sur les données invisibles.
   • Cela augmente le nombre de paramètres dans le modèle
   • Il élimine le besoin d'un ensemble de validation
3. Quelle étape supplémentaire SWA nécessite-t-il pour les réseaux qui utilisent la normalisation par lots ?
   • Recycler le réseau à partir de zéro
   • Doubler la taille du lot
   • Une passe avant supplémentaire pour recalculer les statistiques d'exécution du BN
   • Suppression de toutes les couches de suppression
4. Quel comportement de taux d'apprentissage est généralement utilisé pendant la phase de moyenne SWA ?
   • Un taux d’apprentissage tombé exactement à zéro
   • Un taux d'apprentissage de un pour la stabilité
   • Aucun taux d'apprentissage du tout puisque la formation est gelée
   • Un taux d’apprentissage constant ou cyclique, relativement élevé
5. Comment le coût d'inférence de SWA se compare-t-il à un ensemble traditionnel de modèles N ?
   • Cela coûte à peu près un seul modèle, puisque le résultat est un ensemble de poids
   • C'est N fois plus cher
   • C'est identique aux modèles N en cours d'exécution
   • Il ne peut pas être utilisé pour l'inférence
6. Why does the batch-normalization adjustment belong after SWA weight averaging?
   • The averaging step deletes every convolution
   • Its running statistics must be recomputed for the averaged weights
   • It converts batch normalization into layer normalization
   • It restores the original optimizer learning rate
7. An SWA running mean combines n previous samples with a new weight vector w_i. Which update gives equal weight to all n+1 samples?
   • w_SWA + n · w_i
   • (w_SWA + w_i) divided by n
   • (n · w_SWA + w_i) divided by (n + 1)
   • n · (w_SWA − w_i)
8. Why is SWA commonly started during the later part of training?
   • It requires the model to remain at random initialization
   • It can only average models with different architectures
   • It replaces the training data with validation examples
   • It averages nearby useful checkpoints from a trajectory after the model has made substantial progress