Quiz o znikających i eksplodujących gradientach

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Jaka operacja matematyczna podczas propagacji wstecznej jest podstawową przyczyną zanikających i eksplodujących gradientów?
   • Wielokrotne mnożenie współczynników na warstwę za pomocą reguły łańcuchowej
   • Dodawanie gradientów w jednej warstwie
   • Dzielenie straty przez wielkość partii
   • Biorąc pierwiastek kwadratowy z ciężarów
2. Why can sigmoid or tanh units contribute to vanishing gradients when they are saturated?
   • Their derivatives are always larger than one
   • Their derivatives become small in saturated regions, so repeated chain-rule products can shrink
   • They remove the chain rule from backpropagation
   • They force every weight to zero
3. Na którą architekturę NAJBARDZIEJ wpływają problemy z gradientem w długich sekwencjach?
   • Perceptron dwuwarstwowy
   • Pojedyncza regresja liniowa
   • Powtarzająca się sieć neuronowa rozwijała się w wielu etapach czasowych
   • Tabela przeglądowa
4. Widzenie, że utrata treningu nagle zmienia się w NaN, najprawdopodobniej wskazuje, jaki problem?
   • Znikające gradienty
   • Doskonała zbieżność
   • Zbyt mały współczynnik uczenia się
   • Eksplodujące gradienty
5. W jaki sposób połączenia resztkowe (pominięte) pomagają w przypadku zanikających gradientów?
   • Dają gradientowi bezpośrednią ścieżkę skrótu do tyłu, omijając malejące mnożenia
   • Usuwają wszelkie nieliniowości
   • Automatycznie zwiększają tempo uczenia się
   • Usuwają wczesne warstwy
6. In a simplified analysis of a recurrent linear transformation repeated over many steps, what matrix quantity is a rough signal of growth versus decay?
   • The matrix trace relative to the batch size
   • The spectral radius relative to one
   • The number of hidden units alone
   • The determinant relative to the learning rate
7. A backpropagated gradient is multiplied by a factor below one at each of many layers. What trend should you expect?
   • It must become exactly one
   • It grows exponentially regardless of the factor
   • The signal can shrink exponentially with depth
   • It stops depending on earlier layers after one step
8. Why can a recurrent network be especially vulnerable over a long sequence?
   • The network has no hidden state
   • The output layer is used only once
   • The sequence is processed without a chain rule
   • The recurrent transformation is applied repeatedly across timesteps, compounding its gradient effect