Kvíz spojený s průvodcem · Těžko úroveň
Dávkový normalizační kvíz
Kontroluje statistiky dávek, afinní měřítko a posun, průběžné průměry, nestabilitu malých dávek a jak se BatchNorm liší od LayerNorm.
Otázka 1 z 8
Co normalizuje dávková normalizace?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co normalizuje dávková normalizace?
- Vstupy do vrstvy napříč příklady v aktuální minidávce
- Konečné výstupní štítky sítě
- Plán míry učení v průběhu času
- Velikost trénovací datové sady
- Proč dávková normalizace zahrnuje naučitelné parametry gama a beta?
- Chcete-li zvětšit velikost datové sady
- Nechat síť škálovat a posouvat normalizované hodnoty při zachování reprezentativní síly
- Náhodně zahodit neurony během tréninku
- Pro výpočet ztrátové funkce
- Jaký je běžně uváděný praktický přínos normalizace dávek?
- Eliminuje potřebu jakýchkoliv tréninkových dat
- Zaručuje, že se model nemůže přetáhnout
- Umožňuje vyšší rychlost učení a rychlejší a stabilnější konvergenci
- Odstraňuje potřebu aktivační funkce
- Jaké statistiky používá dávková normalizace v době odvození (předpovídání na nových datech)?
- Pouze průměr a rozptyl aktuálního jednotlivého vstupu
- Pokaždé náhodně generované statistiky
- Statistika testovací sady vypočítaná předem
- Průběžné průměry střední hodnoty a rozptylu nashromážděné během tréninku
- Proč se normalizace dávek může chovat špatně u velmi malých velikostí dávek?
- Statistiky šarží se stávají hlučnými a nespolehlivými odhady skutečné distribuce
- Díky malým dávkám je model příliš velký na to, aby se vešel do paměti
- Deaktivuje aktivační funkce
- Malé dávky si vynucují použití regularizace L1
- Která normalizační technika se nejčastěji používá v architektuře transformátorů jako alternativa k dávkové normalizaci?
- Normalizace výpadků
- Normalizace vrstev
- L2 normalizace ztráty
- Oříznutí přechodu
- Why does BatchNorm use running averages during inference instead of the current test batch’s statistics?
- To retrain the model on test data
- To make all activations exactly zero
- So a prediction does not depend on which other examples happen to share the batch
- To eliminate learned gamma and beta
- Where is BatchNorm commonly placed within a layer block according to the guide?
- Only after the final prediction
- Before the input data are loaded
- Inside the optimizer update
- Between the linear transformation and its activation function