Kvíz spojený s průvodcem · Střední úroveň

Kvíz akumulace gradientu

Testujte součty gradientu mikrodávek, efektivní velikost dávky, škálování ztrát, načasování optimalizátoru, limity normalizace a chyby předčasného resetu.

Související vodicí cestyAkumulace gradientu
Otázka 1 z 8

Co vám akumulace gradientu primárně umožňuje?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co vám akumulace gradientu primárně umožňuje?
    • Trénujte bez GPU
    • Přeskočte zpětný průchod
    • Simulujte větší efektivní velikost dávky na omezené paměti
    • Zcela odstraňte optimalizátor
  2. S velikostí mikrodávky 4 a 8 akumulačních kroků je efektivní velikost dávky:
    • 32
    • 4
    • 8
    • 12
  3. With an accumulation factor N, when should optimizer.step() and zero_grad() occur?
    • Po každé mikrodávce
    • Nikdy
    • Před přihrávkou vpřed
    • Call optimizer.step() after N micro-batches, then clear gradients before the next accumulation window
  4. Aby byla efektivní rychlost učení správná, ztráta na mikrodávku je obvykle:
    • Vynásobeno N
    • Děleno počtem akumulačních kroků N
    • Nastavit na nulu
    • Nahrazeno s přesností
  5. Která normalizační vrstva se lépe spáruje s akumulací gradientu?
    • Normalizace vrstev nebo skupin, protože nezávisí na statistice dávek
    • Dávková normalizace, protože miluje malé dávky
    • Žádná normalizace s tím nefunguje
    • Pouze odpadnutí
  6. Hlavní náklady na použití akumulace gradientu jsou:
    • Ve špičce se používá více paměti GPU
    • Ztráta všech gradientů
    • Delší čas nástěnných hodin na efektivní aktualizaci
    • Neschopnost použít optimalizátor
  7. A training loop clears gradients after every micro-batch but steps the optimizer every fourth batch. What is lost?
    • The model weights are deleted
    • The earlier micro-batch contributions to the accumulated update
    • The effective batch becomes four times larger
    • The loss automatically becomes zero
  8. Why may four micro-batches with BatchNorm behave differently from one physical batch of the same total size?
    • The optimizer cannot accept four backward passes
    • Gradient addition is forbidden in BatchNorm
    • The number of training examples changes
    • BatchNorm uses statistics from each micro-batch rather than the combined batch