Gids-gekoppelde quiz · Middelmatig Niveau
Quiz voor gradiëntaccumulatie
Test de gradiëntsommen van microbatches, de effectieve batchgrootte, de schaling van verliezen, de timing van de optimalisatie, normalisatielimieten en voortijdige resetfouten.
Vraag 1 van 8
Wat kun je vooral doen met gradiëntaccumulatie?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat kun je vooral doen met gradiëntaccumulatie?
- Train zonder enige GPU
- Sla de achterwaartse pas over
- Simuleer een grotere effectieve batchgrootte op een beperkt geheugen
- Elimineer de optimalisatie volledig
- Bij accumulatiestappen van microbatchgrootte 4 en 8 is de effectieve batchgrootte:
- 32
- 4
- 8
- 12
- With an accumulation factor N, when should optimizer.step() and zero_grad() occur?
- Na elke microbatch
- Nooit
- Vóór de voorwaartse pass
- Call optimizer.step() after N micro-batches, then clear gradients before the next accumulation window
- Om de effectieve leersnelheid correct te houden, is het verlies per microbatch gewoonlijk:
- Vermenigvuldigd met N
- Gedeeld door het aantal accumulatiestappen N
- Op nul zetten
- Vervangen door nauwkeurigheid
- Welke normalisatielaag past beter bij gradiëntaccumulatie?
- Normalisatie van lagen of groepen, omdat deze niet afhankelijk zijn van batchstatistieken
- Batch-normalisatie, omdat het van kleine batches houdt
- Geen enkele normalisatie werkt ermee
- Alleen maar uitval
- De belangrijkste kosten van het gebruik van gradiëntaccumulatie zijn:
- Meer GPU-geheugen gebruikt op piekniveau
- Verlies van alle hellingen
- Langere wandkloktijd per effectieve update
- Onvermogen om een optimizer te gebruiken
- A training loop clears gradients after every micro-batch but steps the optimizer every fourth batch. What is lost?
- The model weights are deleted
- The earlier micro-batch contributions to the accumulated update
- The effective batch becomes four times larger
- The loss automatically becomes zero
- Why may four micro-batches with BatchNorm behave differently from one physical batch of the same total size?
- The optimizer cannot accept four backward passes
- Gradient addition is forbidden in BatchNorm
- The number of training examples changes
- BatchNorm uses statistics from each micro-batch rather than the combined batch