Quiz lié à un guide · Moyen Niveau

Quiz sur l'accumulation de dégradés

Testez les sommes de gradient des micro-lots, la taille effective du lot, la mise à l'échelle des pertes, le timing de l'optimiseur, les limites de normalisation et les erreurs de réinitialisation prématurée.

Chemins de guidage associésAccumulation de dégradé
Question 1 de 8

Qu'est-ce que l'accumulation de gradient vous permet principalement de faire ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Qu'est-ce que l'accumulation de gradient vous permet principalement de faire ?
    • Entraînez-vous sans aucun GPU
    • Passer la passe arrière
    • Simulez une taille de lot effective plus grande sur une mémoire limitée
    • Éliminer complètement l'optimiseur
  2. Avec des micro-lots de taille 4 et 8 étapes d’accumulation, la taille effective du lot est :
    • 32
    • 4
    • 8
    • 12
  3. With an accumulation factor N, when should optimizer.step() and zero_grad() occur?
    • Après chaque micro-lot
    • Jamais
    • Avant la passe avant
    • Call optimizer.step() after N micro-batches, then clear gradients before the next accumulation window
  4. Pour maintenir le taux d'apprentissage effectif correct, la perte par micro-lot est généralement :
    • Multiplié par N
    • Divisé par le nombre d'étapes d'accumulation N
    • Mettre à zéro
    • Remplacé avec précision
  5. Quelle couche de normalisation s'associe plus proprement à l'accumulation de gradient ?
    • Normalisation des couches ou des groupes, car ils ne dépendent pas des statistiques de lots
    • Normalisation par lots, car il aime les petits lots
    • Aucune normalisation ne fonctionne avec
    • Seul abandon
  6. Le principal coût de l’utilisation de l’accumulation de gradient est :
    • Plus de mémoire GPU utilisée au maximum
    • Perte de tous les dégradés
    • Temps d'horloge plus long par mise à jour efficace
    • Impossibilité d'utiliser un optimiseur
  7. A training loop clears gradients after every micro-batch but steps the optimizer every fourth batch. What is lost?
    • The model weights are deleted
    • The earlier micro-batch contributions to the accumulated update
    • The effective batch becomes four times larger
    • The loss automatically becomes zero
  8. Why may four micro-batches with BatchNorm behave differently from one physical batch of the same total size?
    • The optimizer cannot accept four backward passes
    • Gradient addition is forbidden in BatchNorm
    • The number of training examples changes
    • BatchNorm uses statistics from each micro-batch rather than the combined batch