Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Gradiens felhalmozási kvíz
Test micro-batch gradient sums, effective batch size, loss scaling, optimizer timing, normalization limits, and premature reset errors.
kérdés 1 -ból 8
Mit tesz elsősorban lehetővé a gradiens felhalmozás?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mit tesz elsősorban lehetővé a gradiens felhalmozás?
- Edzés GPU nélkül
- Kihagyja a visszafelé haladást
- Szimuláljon nagyobb tényleges kötegméretet korlátozott memórián
- Teljesen távolítsa el az optimalizálót
- A 4-es és 8-as felhalmozási lépésekben a mikro-tétel nagysága a következő:
- 32
- 4
- 8
- 12
- With an accumulation factor N, when should optimizer.step() and zero_grad() occur?
- Minden mikro-tétel után
- Soha
- Az előrepassz előtt
- Call optimizer.step() after N micro-batches, then clear gradients before the next accumulation window
- A hatékony tanulási sebesség helyes tartása érdekében a mikro-kötegelt veszteség általában a következő:
- N-vel szorozva
- Osztva az N felhalmozási lépések számával
- Állítsa nullára
- Csere pontossággal
- Melyik normalizációs réteg párosodik tisztábban a gradiens-halmozással?
- Réteg vagy csoport normalizálás, mivel ezek nem függenek a kötegelt statisztikáktól
- Kötegelt normalizálás, mert szereti az apró kötegeket
- Semmiféle normalizálás nem működik vele
- Csak lemorzsolódás
- A gradiens felhalmozás használatának fő költsége:
- Több GPU-memória használatban van csúcsidőben
- Az összes színátmenet elvesztése
- Hosszabb falióra-idő hatékony frissítéssel
- Képtelenség használni az optimalizálót
- A training loop clears gradients after every micro-batch but steps the optimizer every fourth batch. What is lost?
- The model weights are deleted
- The earlier micro-batch contributions to the accumulated update
- The effective batch becomes four times larger
- The loss automatically becomes zero
- Why may four micro-batches with BatchNorm behave differently from one physical batch of the same total size?
- The optimizer cannot accept four backward passes
- Gradient addition is forbidden in BatchNorm
- The number of training examples changes
- BatchNorm uses statistics from each micro-batch rather than the combined batch