Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Rétegnormalizálási kvíz

Checks LayerNorm statistics and affine parameters, its batch-size behavior, epsilon, RMSNorm and pre-norm placement. in deep networks.

Kapcsolódó útmutató utakRéteg normalizálása
kérdés 1 -ból 8

Mire számítja ki a rétegnormalizálás az átlagát és a szórását?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mire számítja ki a rétegnormalizálás az átlagát és a szórását?
    • Egyetlen példa jellemzői között
    • A mini köteg összes példája
    • A hálózat összes súlyán
    • Több edzési korszakon keresztül
  2. Miért részesítik előnyben a rétegnormalizálást a szakaszos normalizálással szemben a transzformátorokban?
    • Nagyon nagy tételt igényel
    • Független a köteg méretétől, és változó hosszúságú sorozatokat kezel
    • Kiküszöböli a tanulható paraméterek szükségességét
    • Csak következtetés közben működik
  3. Mit tesznek a LayerNorm számára a tanulható gamma és béta paraméterek?
    • Válassza ki a tanulási sebességet
    • Állítsa be a rétegek számát
    • Méretezze át és tolja el a normalizált kimenetet, hogy a hálózat vissza tudja állítani a hasznos reprezentációkat
    • Szüntesse meg az aktiválási funkció szükségességét
  4. Miben különbözik az RMSNorm a szabványos LayerNormtól?
    • Ehelyett normalizálódik a kötegben
    • Nem használ paramétereket és osztást sem
    • Csak képeken működik
    • Kihagyja az átlagkivonást, és csak az átlag négyzetével oszt
  5. Milyen problémát segít elsősorban a rétegnormalizálás megoldani mély hálózatokban?
    • Az aktiválások nagyon különböző skálákra sodródnak, ami destabilizálja az edzést
    • Kifogy a lemezterület
    • A megfelelő adatkészlet kiválasztása
    • A modell súlyainak titkosítása
  6. Miért használják gyakran a „norma előtti” elhelyezést a nagyon mély transzformátorokban?
    • Kisebbé teszi a modellt
    • Az egyes alrétegek előtti normalizálás megkönnyíti és stabilabbá teszi a mély halmok betanítását
    • Eltávolítja a figyelem mechanizmusát
    • Automatikusan megduplázza a tanulási sebességet
  7. Why is a small epsilon added to LayerNorm’s variance before taking its square root?
    • To make the batch size larger
    • To replace the learnable scale
    • To avoid division by zero and improve numerical stability
    • To compute the sequence length
  8. If gamma is all ones and beta is all zeros, what does LayerNorm’s affine stage do?
    • It restores the original unnormalized inputs exactly
    • It applies a softmax over features
    • It changes the statistics to be batch-dependent
    • It leaves the normalized values unchanged after the mean-and-variance scaling