Quiz normalizacyjny wsadowy

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Co normalizuje normalizacja wsadowa?
   • Dane wejściowe warstwy w przykładach z bieżącej mini-partii
   • Ostateczne etykiety wyjściowe sieci
   • Harmonogram tempa uczenia się w czasie
   • Rozmiar zbioru danych szkoleniowych
2. Dlaczego normalizacja wsadowa obejmuje parametry gamma i beta, których można się nauczyć?
   • Aby zwiększyć rozmiar zestawu danych
   • Aby sieć mogła skalować i przesuwać znormalizowane wartości, zachowując siłę reprezentacji
   • Aby losowo upuścić neurony podczas treningu
   • Aby obliczyć funkcję straty
3. Jaka jest powszechnie cytowana praktyczna korzyść wynikająca z normalizacji partii?
   • Eliminuje to potrzebę jakichkolwiek danych szkoleniowych
   • Gwarantuje, że model nie będzie przeciążony
   • Umożliwia wyższe szybkości uczenia się i szybszą, bardziej stabilną konwergencję
   • Eliminuje to potrzebę funkcji aktywacji
4. Z jakich statystyk korzysta normalizacja wsadowa w momencie wnioskowania (przewidywania na podstawie nowych danych)?
   • Tylko średnia i wariancja bieżącego pojedynczego wejścia
   • Losowo generowane statystyki za każdym razem
   • Statystyka zbioru testowego obliczona z góry
   • Średnie kroczące średniej i wariancji zgromadzone podczas treningu
5. Dlaczego normalizacja partii może źle działać w przypadku bardzo małych partii?
   • Statystyki wsadowe stają się zaszumionymi i niewiarygodnymi szacunkami prawdziwego rozkładu
   • Małe partie sprawiają, że model jest zbyt duży, aby zmieścił się w pamięci
   • Wyłącza funkcje aktywacji
   • Małe partie wymuszają stosowanie regularyzacji L1
6. Która technika normalizacji jest najczęściej stosowana w architekturach transformatorów jako alternatywa dla normalizacji wsadowej?
   • Normalizacja porzucenia
   • Normalizacja warstw
   • Normalizacja straty L2
   • Przycinanie gradientowe
7. Why does BatchNorm use running averages during inference instead of the current test batch’s statistics?
   • To retrain the model on test data
   • To make all activations exactly zero
   • So a prediction does not depend on which other examples happen to share the batch
   • To eliminate learned gamma and beta
8. Where is BatchNorm commonly placed within a layer block according to the guide?
   • Only after the final prediction
   • Before the input data are loaded
   • Inside the optimizer update
   • Between the linear transformation and its activation function