Kvíz spojený s průvodcem · Střední úroveň
Kvíz normalizace vrstev
Kontroluje statistiku LayerNorm a afinní parametry, její chování velikosti dávky, epsilon, RMSNorm a umístění před normou. v hlubokých sítích.
Otázka 1 z 8
Přes co počítá normalizace vrstev její průměr a rozptyl?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Přes co počítá normalizace vrstev její průměr a rozptyl?
- Přes vlastnosti jediného příkladu
- Napříč všemi příklady v minidávce
- Přes všechny váhy v síti
- V několika tréninkových epochách
- Proč je u transformátorů preferována vrstvová normalizace před dávkovou normalizací?
- Vyžaduje velmi velkou velikost dávky
- Je nezávislý na velikosti dávky a zpracovává sekvence s proměnnou délkou
- Eliminuje potřebu jakýchkoli naučitelných parametrů
- Funguje pouze při vyvozování
- Co umožňují naučit se parametry gamma a beta LayerNorm?
- Vyberte rychlost učení
- Nastavte počet vrstev
- Změňte měřítko a posuňte normalizovaný výstup, aby síť mohla obnovit užitečné reprezentace
- Odstraňte potřebu aktivační funkce
- Jak se RMSNorm liší od standardního LayerNorm?
- Místo toho se normalizuje v celé dávce
- Nepoužívá žádné parametry ani dělení
- Funguje pouze na obrázky
- Přeskočí střední odčítání a dělí pouze odmocninou
- Jaký problém normalizace vrstev primárně pomáhá řešit v hlubokých sítích?
- Aktivace přecházejí do velmi odlišných měřítek, což destabilizuje trénink
- Dochází místo na disku
- Výběr správné datové sady
- Šifrování vah modelů
- Proč se ve velmi hlubokých transformátorech často používá „přednormové“ umístění?
- Díky tomu je model menší
- Normalizace před každou podvrstvou usnadňuje trénování hlubokých zásobníků a je stabilnější
- Odstraňuje mechanismus pozornosti
- Automaticky zdvojnásobuje rychlost učení
- Why is a small epsilon added to LayerNorm’s variance before taking its square root?
- To make the batch size larger
- To replace the learnable scale
- To avoid division by zero and improve numerical stability
- To compute the sequence length
- If gamma is all ones and beta is all zeros, what does LayerNorm’s affine stage do?
- It restores the original unnormalized inputs exactly
- It applies a softmax over features
- It changes the statistics to be batch-dependent
- It leaves the normalized values unchanged after the mean-and-variance scaling