Quiz dotyczący inicjalizacji wagi

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Dlaczego inicjowanie wszystkich wag do zera jest fatalnym błędem?
   • Wszystkie neurony otrzymują identyczne gradienty i nigdy się nie różnicują (symetria nie jest złamana)
   • To sprawia, że trening jest zbyt szybki
   • Powoduje to, że strata staje się ujemna
   • Zużywa zbyt dużo pamięci
2. Inicjalizacja He (Kaiminga) jest specjalnie zaprojektowana dla jakiej funkcji aktywacji?
   • Sigmoidalny
   • ReLU
   • Tanh
   • Softmax
3. Jaki jest główny cel schematów inicjalizacji wag opartych na zasadach?
   • Aby wszystkie wagi były równe
   • Aby ustawić każdą wagę na jedną
   • Aby utrzymać mniej więcej stałą wariancję aktywacji i gradientów pomiędzy warstwami
   • Aby wyeliminować potrzebę danych
4. Inicjalizacja Xaviera (Glorot) najlepiej nadaje się do sieci korzystających z jakich aktywacji?
   • ReLU i jego warianty
   • Tylko aktywacje liniowe
   • Brak jakiejkolwiek aktywacji
   • Tanh i esowaty
5. Dlaczego podczas inicjalizacji używa wariancji 2 / fan_in zamiast 1 / fan_in?
   • Aby skompensować ustawienie ReLU mniej więcej połowy jego wejść na zero
   • Aby zwiększyć ciężary bez powodu
   • Aby zmniejszyć liczbę parametrów
   • Aby dopasować wielkość partii
6. W jaki sposób zazwyczaj inicjowane są błędy systematyczne, gdy wagi są inicjowane losowo?
   • Do bardzo dużych wartości dodatnich
   • Do zera, ponieważ symetria została już złamana przez losowe wagi
   • Do tej samej wartości co szybkość uczenia się
   • Do losowych wartości większych niż wagi
7. Under Xavier initialization, which quantities determine the weight variance in the guide’s formula?
   • The number of training epochs and batch size
   • The output class count alone
   • Fan-in and fan-out
   • The activation’s test accuracy
8. For a ReLU layer with fan-in 64, what variance does the He formula 2/fan_in specify?
   • 1/64
   • 1/16
   • 2/64 squared
   • 1/32