Útmutatóhoz kapcsolódó kvíz · Kemény Szint
Kötegelt normalizálási kvíz
Checks batch statistics, affine scale and shift, running averages, small-batch instability and how BatchNorm differs from LayerNorm.
kérdés 1 -ból 8
Mit normalizál a kötegelt normalizálás?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mit normalizál a kötegelt normalizálás?
- Egy réteg bemenetei az aktuális mini köteg példáin keresztül
- A hálózat végső kimeneti címkéi
- A tanulási ütem ütemezése az idő múlásával
- A képzési adatkészlet mérete
- Miért tartalmaz a kötegelt normalizálás megtanulható gamma és béta paramétereket?
- Az adatkészlet méretének növelése
- Hagyni, hogy a hálózat méretezheti és eltolja a normalizált értékeket, megőrizve a reprezentációs erőt
- A neuronok véletlenszerű leejtése edzés közben
- A veszteségfüggvény kiszámításához
- Mi a gyakran hivatkozott gyakorlati előnye a kötegelt normalizálásnak?
- Kiküszöböli az edzési adatok szükségességét
- Ez garantálja, hogy a modell nem illeszkedik túl
- Magasabb tanulási sebességet és gyorsabb, stabilabb konvergenciát tesz lehetővé
- Nincs szükség aktiválási funkcióra
- A következtetés időpontjában (új adatokra előrejelzés) milyen statisztikákat használ a kötegelt normalizálás?
- Csak az aktuális egyetlen bemenet átlaga és szórása
- Véletlenszerűen generált statisztikák minden alkalommal
- A tesztkészlet előre kiszámított statisztikái
- Az edzés során felhalmozott átlag és variancia futóátlagai
- Miért működhet rosszul a köteg normalizálás nagyon kis kötegméretek esetén?
- A kötegelt statisztikák zajosak és megbízhatatlanok a valódi eloszlásra vonatkozóan
- A kis tételek miatt a modell túl nagy ahhoz, hogy elférjen a memóriában
- Letiltja az aktiválási funkciókat
- Kis tételek kényszerítik az L1-szabályozás használatát
- Melyik normalizálási technikát használják leggyakrabban a transzformátor architektúrákban a kötegelt normalizálás alternatívájaként?
- Lemorzsolódás normalizálása
- Réteg normalizálás
- L2 a veszteség normalizálása
- Gradiens vágás
- Why does BatchNorm use running averages during inference instead of the current test batch’s statistics?
- To retrain the model on test data
- To make all activations exactly zero
- So a prediction does not depend on which other examples happen to share the batch
- To eliminate learned gamma and beta
- Where is BatchNorm commonly placed within a layer block according to the guide?
- Only after the final prediction
- Before the input data are loaded
- Inside the optimizer update
- Between the linear transformation and its activation function