Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Gradiens felhalmozási kvíz

Test micro-batch gradient sums, effective batch size, loss scaling, optimizer timing, normalization limits, and premature reset errors.

Kapcsolódó útmutató utakGradiens Akkumuláció
kérdés 1 -ból 8

Mit tesz elsősorban lehetővé a gradiens felhalmozás?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mit tesz elsősorban lehetővé a gradiens felhalmozás?
    • Edzés GPU nélkül
    • Kihagyja a visszafelé haladást
    • Szimuláljon nagyobb tényleges kötegméretet korlátozott memórián
    • Teljesen távolítsa el az optimalizálót
  2. A 4-es és 8-as felhalmozási lépésekben a mikro-tétel nagysága a következő:
    • 32
    • 4
    • 8
    • 12
  3. With an accumulation factor N, when should optimizer.step() and zero_grad() occur?
    • Minden mikro-tétel után
    • Soha
    • Az előrepassz előtt
    • Call optimizer.step() after N micro-batches, then clear gradients before the next accumulation window
  4. A hatékony tanulási sebesség helyes tartása érdekében a mikro-kötegelt veszteség általában a következő:
    • N-vel szorozva
    • Osztva az N felhalmozási lépések számával
    • Állítsa nullára
    • Csere pontossággal
  5. Melyik normalizációs réteg párosodik tisztábban a gradiens-halmozással?
    • Réteg vagy csoport normalizálás, mivel ezek nem függenek a kötegelt statisztikáktól
    • Kötegelt normalizálás, mert szereti az apró kötegeket
    • Semmiféle normalizálás nem működik vele
    • Csak lemorzsolódás
  6. A gradiens felhalmozás használatának fő költsége:
    • Több GPU-memória használatban van csúcsidőben
    • Az összes színátmenet elvesztése
    • Hosszabb falióra-idő hatékony frissítéssel
    • Képtelenség használni az optimalizálót
  7. A training loop clears gradients after every micro-batch but steps the optimizer every fourth batch. What is lost?
    • The model weights are deleted
    • The earlier micro-batch contributions to the accumulated update
    • The effective batch becomes four times larger
    • The loss automatically becomes zero
  8. Why may four micro-batches with BatchNorm behave differently from one physical batch of the same total size?
    • The optimizer cannot accept four backward passes
    • Gradient addition is forbidden in BatchNorm
    • The number of training examples changes
    • BatchNorm uses statistics from each micro-batch rather than the combined batch