Quiz dotyczący normalizacji warstw

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Dla czego normalizacja warstw oblicza jej średnią i wariancję?
   • Wszystkie funkcje jednego przykładu
   • We wszystkich przykładach w mini-partii
   • We wszystkich wagach w sieci
   • W wielu epokach szkoleniowych
2. Dlaczego w transformatorach preferowana jest normalizacja warstw zamiast normalizacji partii?
   • Wymaga bardzo dużej partii
   • Jest niezależny od wielkości partii i obsługuje sekwencje o zmiennej długości
   • Eliminuje to potrzebę stosowania jakichkolwiek parametrów, których można się nauczyć
   • Działa tylko podczas wnioskowania
3. Do czego służą możliwe do nauczenia parametry gamma i beta LayerNorm?
   • Wybierz tempo uczenia się
   • Ustaw liczbę warstw
   • Przeskaluj i przesuń znormalizowane dane wyjściowe, aby sieć mogła odzyskać przydatne reprezentacje
   • Usuń potrzebę funkcji aktywacji
4. Czym różni się RMSNorm od standardowej LayerNorm?
   • Zamiast tego normalizuje się w całej partii
   • Nie używa żadnych parametrów ani podziału
   • Działa tylko na obrazach
   • Pomija odejmowanie średniej i dzieli tylko przez średnią kwadratową
5. Jaki problem normalizacja warstw pomaga rozwiązać przede wszystkim w głębokich sieciach?
   • Aktywacje dryfują do bardzo różnych skal, co destabilizuje trening
   • Kończy się miejsce na dysku
   • Wybór odpowiedniego zbioru danych
   • Szyfrowanie wag modeli
6. Dlaczego w bardzo głębokich transformatorach często stosuje się rozmieszczenie „przed normą”?
   • Dzięki temu model jest mniejszy
   • Normalizacja przed każdą podwarstwą sprawia, że głębokie stosy są łatwiejsze i bardziej stabilne do trenowania
   • Usuwa mechanizm uwagi
   • Automatycznie podwaja tempo uczenia się
7. Why is a small epsilon added to LayerNorm’s variance before taking its square root?
   • To make the batch size larger
   • To replace the learnable scale
   • To avoid division by zero and improve numerical stability
   • To compute the sequence length
8. If gamma is all ones and beta is all zeros, what does LayerNorm’s affine stage do?
   • It restores the original unnormalized inputs exactly
   • It applies a softmax over features
   • It changes the statistics to be batch-dependent
   • It leaves the normalized values unchanged after the mean-and-variance scaling