Quiz dotyczący akumulacji gradientów

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Na co przede wszystkim pozwala akumulacja gradientowa?
   • Trenuj bez procesora graficznego
   • Pomiń podanie do tyłu
   • Symuluj większy efektywny rozmiar partii przy ograniczonej pamięci
   • Całkowicie wyeliminuj optymalizator
2. W przypadku mikropartii o wielkości 4 i 8 etapów akumulacji efektywna wielkość partii wynosi:
   • 32
   • 4
   • 8
   • 12
3. With an accumulation factor N, when should optimizer.step() and zero_grad() occur?
   • Po każdej mikropartii
   • Nigdy
   • Przed podaniem w przód
   • Call optimizer.step() after N micro-batches, then clear gradients before the next accumulation window
4. Aby utrzymać prawidłową efektywną szybkość uczenia się, strata na mikropartię wynosi zazwyczaj:
   • Pomnożone przez N
   • Podzielone przez liczbę stopni akumulacji N
   • Ustaw na zero
   • Zastąpione dokładnością
5. Która warstwa normalizacyjna lepiej łączy się z akumulacją gradientów?
   • Normalizacja warstwy lub grupy, ponieważ nie zależą one od statystyk wsadowych
   • Normalizacja wsadowa, ponieważ uwielbia małe partie
   • Żadna normalizacja na to nie działa
   • Tylko odpadnięcie
6. Głównym kosztem stosowania akumulacji gradientowej jest:
   • Więcej pamięci GPU wykorzystywanej w szczycie
   • Utrata wszystkich gradientów
   • Dłuższy czas zegara ściennego na skuteczną aktualizację
   • Niemożność użycia optymalizatora
7. A training loop clears gradients after every micro-batch but steps the optimizer every fourth batch. What is lost?
   • The model weights are deleted
   • The earlier micro-batch contributions to the accumulated update
   • The effective batch becomes four times larger
   • The loss automatically becomes zero
8. Why may four micro-batches with BatchNorm behave differently from one physical batch of the same total size?
   • The optimizer cannot accept four backward passes
   • Gradient addition is forbidden in BatchNorm
   • The number of training examples changes
   • BatchNorm uses statistics from each micro-batch rather than the combined batch