Kvíz spojený s průvodcem · Těžko úroveň

Dávkový normalizační kvíz

Kontroluje statistiky dávek, afinní měřítko a posun, průběžné průměry, nestabilitu malých dávek a jak se BatchNorm liší od LayerNorm.

Související vodicí cestyDávková normalizace
Otázka 1 z 8

Co normalizuje dávková normalizace?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co normalizuje dávková normalizace?
    • Vstupy do vrstvy napříč příklady v aktuální minidávce
    • Konečné výstupní štítky sítě
    • Plán míry učení v průběhu času
    • Velikost trénovací datové sady
  2. Proč dávková normalizace zahrnuje naučitelné parametry gama a beta?
    • Chcete-li zvětšit velikost datové sady
    • Nechat síť škálovat a posouvat normalizované hodnoty při zachování reprezentativní síly
    • Náhodně zahodit neurony během tréninku
    • Pro výpočet ztrátové funkce
  3. Jaký je běžně uváděný praktický přínos normalizace dávek?
    • Eliminuje potřebu jakýchkoliv tréninkových dat
    • Zaručuje, že se model nemůže přetáhnout
    • Umožňuje vyšší rychlost učení a rychlejší a stabilnější konvergenci
    • Odstraňuje potřebu aktivační funkce
  4. Jaké statistiky používá dávková normalizace v době odvození (předpovídání na nových datech)?
    • Pouze průměr a rozptyl aktuálního jednotlivého vstupu
    • Pokaždé náhodně generované statistiky
    • Statistika testovací sady vypočítaná předem
    • Průběžné průměry střední hodnoty a rozptylu nashromážděné během tréninku
  5. Proč se normalizace dávek může chovat špatně u velmi malých velikostí dávek?
    • Statistiky šarží se stávají hlučnými a nespolehlivými odhady skutečné distribuce
    • Díky malým dávkám je model příliš velký na to, aby se vešel do paměti
    • Deaktivuje aktivační funkce
    • Malé dávky si vynucují použití regularizace L1
  6. Která normalizační technika se nejčastěji používá v architektuře transformátorů jako alternativa k dávkové normalizaci?
    • Normalizace výpadků
    • Normalizace vrstev
    • L2 normalizace ztráty
    • Oříznutí přechodu
  7. Why does BatchNorm use running averages during inference instead of the current test batch’s statistics?
    • To retrain the model on test data
    • To make all activations exactly zero
    • So a prediction does not depend on which other examples happen to share the batch
    • To eliminate learned gamma and beta
  8. Where is BatchNorm commonly placed within a layer block according to the guide?
    • Only after the final prediction
    • Before the input data are loaded
    • Inside the optimizer update
    • Between the linear transformation and its activation function