Quiz Adama i Optymalizatorów Adaptacyjnych

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Jakie dwie wielkości Adam śledzi dla każdego parametru?
   • Średnia krocząca gradientów i kwadratów gradientów
   • Maksymalne i minimalne nachylenie, jakie kiedykolwiek widziano
   • Szybkość uczenia się i wielkość partii
   • Wartość masy i jej znak
2. Dlaczego Adam stosuje korektę odchylenia do swoich szacunków momentów?
   • Ponieważ gradienty są zawsze negatywne na początku treningu
   • Ponieważ średnie kroczące zaczynają się od zera i początkowo są odchylone w stronę zera
   • Aby z czasem zwiększyć tempo uczenia się
   • Aby usunąć odstające punkty danych z partii
3. Jaka jest główna różnica między Adamem a AdamemW?
   • AdamW w ogóle nie wykorzystuje pędu
   • AdamW usuwa oszacowanie drugiego momentu
   • AdamW oddziela spadek masy od aktualizacji opartej na gradiencie
   • AdamW działa tylko w sieciach splotowych
4. Jaką rolę odgrywa mały termin epsilon w regule aktualizacji Adama?
   • Określa siłę pędu
   • Kontroluje liczbę epok szkoleniowych
   • Zwiększa wielkość gradientu
   • Zapobiega dzieleniu przez zero i stabilizuje aktualizację
5. Dlaczego Adama często opisuje się jako „adaptacyjnego”?
   • Skutecznie nadaje każdemu parametrowi własny skalowany rozmiar kroku
   • Zmienia architekturę sieci podczas szkolenia
   • Dopasowuje zbiór danych do modelu
   • Automatycznie przełącza się pomiędzy klasyfikacją i regresją
6. Which Adam parameter controls the exponential decay rate of its squared-gradient estimate?
   • Beta1
   • Beta2
   • Epsilon
   • The weight-decay coefficient
7. A parameter repeatedly receives large gradients. Which Adam quantity helps scale down its effective step?
   • The number of model layers
   • The batch-normalization mean
   • The second-moment estimate of squared gradients
   • The AdamW weight-decay term alone
8. What happens when beta2 is set closer to one, all else equal?
   • The optimizer stops using gradients
   • The first-moment estimate is deleted
   • Weight decay becomes decoupled automatically
   • The squared-gradient estimate decays more slowly and retains a longer history