Stochastyczne zejście gradientowe z quizem o pędzie

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Jaki składnik pędu gromadzi się podczas treningu?
   • Całkowita liczba epok szkoleniowych
   • Bieżąca (ważona wykładniczo) średnia średnich gradientów z przeszłości
   • Rozmiar zbioru danych
   • Historia dokładności modelu
2. Jaki problem napotyka zwykły SGD w długim, wąskim wąwozie, który pęd pomaga rozwiązać?
   • Numerycznie się przepełnia
   • Zatrzymuje obliczanie gradientów
   • Automatycznie zwiększa tempo uczenia się
   • Zygzakiem porusza się po stromych ścianach, posuwając się powoli po podłodze
3. Typową wartością domyślną współczynnika pędu jest:
   • 0,9
   • 0,0
   • 0,5
   • 2.0
4. Której analogii fizycznej używa się najczęściej do opisu pędu?
   • Wahadło kołyszące się wiecznie
   • Sprężyna cofająca się
   • Ciężka piłka tocząca się w dół
   • Zamrażanie wody
5. W przybliżeniu o ile pęd wzmacnia efektywny krok w stałym kierunku, gdy beta = 0,9?
   • Około 2 razy
   • Około 0,1 razy
   • Brak wzmocnienia
   • Około 10 razy
6. Który nowoczesny optymalizator uwzględnia oszacowanie w pierwszej chwili w stylu momentum?
   • Metoda Newtona
   • Adama
   • K-oznacza
   • Losowe wyszukiwanie
7. In the update v = beta times v plus gradient, what happens when beta is zero?
   • The old velocity is doubled
   • Every gradient becomes zero
   • The previous velocity is discarded and the current gradient determines the step
   • The parameters stop depending on the learning rate
8. Why can repeated gradients with opposing sideways directions produce less zig-zagging under momentum?
   • Their opposing contributions can partially cancel in accumulated velocity
   • All past gradients are stored as separate parameters
   • The loss becomes convex automatically
   • Momentum ignores the current gradient entirely