Kvíz spojený s průvodcem · Střední úroveň

Kvíz normalizace vrstev

Kontroluje statistiku LayerNorm a afinní parametry, její chování velikosti dávky, epsilon, RMSNorm a umístění před normou. v hlubokých sítích.

Související vodicí cestyNormalizace vrstev
Otázka 1 z 8

Přes co počítá normalizace vrstev její průměr a rozptyl?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Přes co počítá normalizace vrstev její průměr a rozptyl?
    • Přes vlastnosti jediného příkladu
    • Napříč všemi příklady v minidávce
    • Přes všechny váhy v síti
    • V několika tréninkových epochách
  2. Proč je u transformátorů preferována vrstvová normalizace před dávkovou normalizací?
    • Vyžaduje velmi velkou velikost dávky
    • Je nezávislý na velikosti dávky a zpracovává sekvence s proměnnou délkou
    • Eliminuje potřebu jakýchkoli naučitelných parametrů
    • Funguje pouze při vyvozování
  3. Co umožňují naučit se parametry gamma a beta LayerNorm?
    • Vyberte rychlost učení
    • Nastavte počet vrstev
    • Změňte měřítko a posuňte normalizovaný výstup, aby síť mohla obnovit užitečné reprezentace
    • Odstraňte potřebu aktivační funkce
  4. Jak se RMSNorm liší od standardního LayerNorm?
    • Místo toho se normalizuje v celé dávce
    • Nepoužívá žádné parametry ani dělení
    • Funguje pouze na obrázky
    • Přeskočí střední odčítání a dělí pouze odmocninou
  5. Jaký problém normalizace vrstev primárně pomáhá řešit v hlubokých sítích?
    • Aktivace přecházejí do velmi odlišných měřítek, což destabilizuje trénink
    • Dochází místo na disku
    • Výběr správné datové sady
    • Šifrování vah modelů
  6. Proč se ve velmi hlubokých transformátorech často používá „přednormové“ umístění?
    • Díky tomu je model menší
    • Normalizace před každou podvrstvou usnadňuje trénování hlubokých zásobníků a je stabilnější
    • Odstraňuje mechanismus pozornosti
    • Automaticky zdvojnásobuje rychlost učení
  7. Why is a small epsilon added to LayerNorm’s variance before taking its square root?
    • To make the batch size larger
    • To replace the learnable scale
    • To avoid division by zero and improve numerical stability
    • To compute the sequence length
  8. If gamma is all ones and beta is all zeros, what does LayerNorm’s affine stage do?
    • It restores the original unnormalized inputs exactly
    • It applies a softmax over features
    • It changes the statistics to be batch-dependent
    • It leaves the normalized values unchanged after the mean-and-variance scaling