Kvíz spojený s průvodcem · Střední úroveň
Kvíz akumulace gradientu
Testujte součty gradientu mikrodávek, efektivní velikost dávky, škálování ztrát, načasování optimalizátoru, limity normalizace a chyby předčasného resetu.
Otázka 1 z 8
Co vám akumulace gradientu primárně umožňuje?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co vám akumulace gradientu primárně umožňuje?
- Trénujte bez GPU
- Přeskočte zpětný průchod
- Simulujte větší efektivní velikost dávky na omezené paměti
- Zcela odstraňte optimalizátor
- S velikostí mikrodávky 4 a 8 akumulačních kroků je efektivní velikost dávky:
- 32
- 4
- 8
- 12
- With an accumulation factor N, when should optimizer.step() and zero_grad() occur?
- Po každé mikrodávce
- Nikdy
- Před přihrávkou vpřed
- Call optimizer.step() after N micro-batches, then clear gradients before the next accumulation window
- Aby byla efektivní rychlost učení správná, ztráta na mikrodávku je obvykle:
- Vynásobeno N
- Děleno počtem akumulačních kroků N
- Nastavit na nulu
- Nahrazeno s přesností
- Která normalizační vrstva se lépe spáruje s akumulací gradientu?
- Normalizace vrstev nebo skupin, protože nezávisí na statistice dávek
- Dávková normalizace, protože miluje malé dávky
- Žádná normalizace s tím nefunguje
- Pouze odpadnutí
- Hlavní náklady na použití akumulace gradientu jsou:
- Ve špičce se používá více paměti GPU
- Ztráta všech gradientů
- Delší čas nástěnných hodin na efektivní aktualizaci
- Neschopnost použít optimalizátor
- A training loop clears gradients after every micro-batch but steps the optimizer every fourth batch. What is lost?
- The model weights are deleted
- The earlier micro-batch contributions to the accumulated update
- The effective batch becomes four times larger
- The loss automatically becomes zero
- Why may four micro-batches with BatchNorm behave differently from one physical batch of the same total size?
- The optimizer cannot accept four backward passes
- Gradient addition is forbidden in BatchNorm
- The number of training examples changes
- BatchNorm uses statistics from each micro-batch rather than the combined batch