Útmutatóhoz kapcsolódó kvíz · Kemény Szint

Kötegelt normalizálási kvíz

Checks batch statistics, affine scale and shift, running averages, small-batch instability and how BatchNorm differs from LayerNorm.

Kapcsolódó útmutató utakKötegelt normalizálás
kérdés 1 -ból 8

Mit normalizál a kötegelt normalizálás?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mit normalizál a kötegelt normalizálás?
    • Egy réteg bemenetei az aktuális mini köteg példáin keresztül
    • A hálózat végső kimeneti címkéi
    • A tanulási ütem ütemezése az idő múlásával
    • A képzési adatkészlet mérete
  2. Miért tartalmaz a kötegelt normalizálás megtanulható gamma és béta paramétereket?
    • Az adatkészlet méretének növelése
    • Hagyni, hogy a hálózat méretezheti és eltolja a normalizált értékeket, megőrizve a reprezentációs erőt
    • A neuronok véletlenszerű leejtése edzés közben
    • A veszteségfüggvény kiszámításához
  3. Mi a gyakran hivatkozott gyakorlati előnye a kötegelt normalizálásnak?
    • Kiküszöböli az edzési adatok szükségességét
    • Ez garantálja, hogy a modell nem illeszkedik túl
    • Magasabb tanulási sebességet és gyorsabb, stabilabb konvergenciát tesz lehetővé
    • Nincs szükség aktiválási funkcióra
  4. A következtetés időpontjában (új adatokra előrejelzés) milyen statisztikákat használ a kötegelt normalizálás?
    • Csak az aktuális egyetlen bemenet átlaga és szórása
    • Véletlenszerűen generált statisztikák minden alkalommal
    • A tesztkészlet előre kiszámított statisztikái
    • Az edzés során felhalmozott átlag és variancia futóátlagai
  5. Miért működhet rosszul a köteg normalizálás nagyon kis kötegméretek esetén?
    • A kötegelt statisztikák zajosak és megbízhatatlanok a valódi eloszlásra vonatkozóan
    • A kis tételek miatt a modell túl nagy ahhoz, hogy elférjen a memóriában
    • Letiltja az aktiválási funkciókat
    • Kis tételek kényszerítik az L1-szabályozás használatát
  6. Melyik normalizálási technikát használják leggyakrabban a transzformátor architektúrákban a kötegelt normalizálás alternatívájaként?
    • Lemorzsolódás normalizálása
    • Réteg normalizálás
    • L2 a veszteség normalizálása
    • Gradiens vágás
  7. Why does BatchNorm use running averages during inference instead of the current test batch’s statistics?
    • To retrain the model on test data
    • To make all activations exactly zero
    • So a prediction does not depend on which other examples happen to share the batch
    • To eliminate learned gamma and beta
  8. Where is BatchNorm commonly placed within a layer block according to the guide?
    • Only after the final prediction
    • Before the input data are loaded
    • Inside the optimizer update
    • Between the linear transformation and its activation function