Test de acumulare a gradientului

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

1. Ce vă permite în primul rând acumularea de gradient să faceți?
   • Antrenează-te fără GPU
   • Sari peste trecerea înapoi
   • Simulați o dimensiune efectivă a lotului mai mare pe o memorie limitată
   • Eliminați complet optimizatorul
2. Cu dimensiunea micro-lotului 4 și 8 pași de acumulare, dimensiunea efectivă a lotului este:
   • 32
   • 4
   • 8
   • 12
3. With an accumulation factor N, when should optimizer.step() and zero_grad() occur?
   • După fiecare micro-lot
   • Niciodată
   • Înainte de trecerea înainte
   • Call optimizer.step() after N micro-batches, then clear gradients before the next accumulation window
4. Pentru a menține rata efectivă de învățare corectă, pierderea per micro-lot este de obicei:
   • Înmulțit cu N
   • Împărțit la numărul de pași de acumulare N
   • Setați la zero
   • Înlocuit cu precizie
5. Ce strat de normalizare se asociază mai curat cu acumularea de gradient?
   • Normalizarea stratului sau a grupului, deoarece acestea nu depind de statisticile loturilor
   • Normalizarea loturilor, pentru că îi plac loturile mici
   • Nicio normalizare nu funcționează cu ea
   • Doar abandonul
6. Costul principal al utilizării acumulării de gradient este:
   • Mai multă memorie GPU folosită la vârf
   • Pierderea tuturor gradienților
   • Durată mai lungă a ceasului de perete pentru fiecare actualizare efectivă
   • Incapacitatea de a utiliza un optimizator
7. A training loop clears gradients after every micro-batch but steps the optimizer every fourth batch. What is lost?
   • The model weights are deleted
   • The earlier micro-batch contributions to the accumulated update
   • The effective batch becomes four times larger
   • The loss automatically becomes zero
8. Why may four micro-batches with BatchNorm behave differently from one physical batch of the same total size?
   • The optimizer cannot accept four backward passes
   • Gradient addition is forbidden in BatchNorm
   • The number of training examples changes
   • BatchNorm uses statistics from each micro-batch rather than the combined batch