Gids-gekoppelde quiz · Middelmatig Niveau

Quiz voor gradiëntaccumulatie

Test de gradiëntsommen van microbatches, de effectieve batchgrootte, de schaling van verliezen, de timing van de optimalisatie, normalisatielimieten en voortijdige resetfouten.

Gerelateerde gidspadenGradiëntaccumulatie
Vraag 1 van 8

Wat kun je vooral doen met gradiëntaccumulatie?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat kun je vooral doen met gradiëntaccumulatie?
    • Train zonder enige GPU
    • Sla de achterwaartse pas over
    • Simuleer een grotere effectieve batchgrootte op een beperkt geheugen
    • Elimineer de optimalisatie volledig
  2. Bij accumulatiestappen van microbatchgrootte 4 en 8 is de effectieve batchgrootte:
    • 32
    • 4
    • 8
    • 12
  3. With an accumulation factor N, when should optimizer.step() and zero_grad() occur?
    • Na elke microbatch
    • Nooit
    • Vóór de voorwaartse pass
    • Call optimizer.step() after N micro-batches, then clear gradients before the next accumulation window
  4. Om de effectieve leersnelheid correct te houden, is het verlies per microbatch gewoonlijk:
    • Vermenigvuldigd met N
    • Gedeeld door het aantal accumulatiestappen N
    • Op nul zetten
    • Vervangen door nauwkeurigheid
  5. Welke normalisatielaag past beter bij gradiëntaccumulatie?
    • Normalisatie van lagen of groepen, omdat deze niet afhankelijk zijn van batchstatistieken
    • Batch-normalisatie, omdat het van kleine batches houdt
    • Geen enkele normalisatie werkt ermee
    • Alleen maar uitval
  6. De belangrijkste kosten van het gebruik van gradiëntaccumulatie zijn:
    • Meer GPU-geheugen gebruikt op piekniveau
    • Verlies van alle hellingen
    • Langere wandkloktijd per effectieve update
    • Onvermogen om een optimizer te gebruiken
  7. A training loop clears gradients after every micro-batch but steps the optimizer every fourth batch. What is lost?
    • The model weights are deleted
    • The earlier micro-batch contributions to the accumulated update
    • The effective batch becomes four times larger
    • The loss automatically becomes zero
  8. Why may four micro-batches with BatchNorm behave differently from one physical batch of the same total size?
    • The optimizer cannot accept four backward passes
    • Gradient addition is forbidden in BatchNorm
    • The number of training examples changes
    • BatchNorm uses statistics from each micro-batch rather than the combined batch