Zanik masy ciała i quiz o regularyzacji L2

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Co regularyzacja L2 dodaje do funkcji straty?
   • Liczba warstw w sieci
   • Kara za tempo uczenia się
   • Liczba przykładów szkoleniowych
   • Kara proporcjonalna do sumy kwadratów wag
2. Jaki jest główny problem, któremu pomaga zapobiegać utrata masy ciała?
   • Powolne ładowanie danych
   • Przeuczenie, w którym model zapamiętuje szum danych uczących
   • Awarie sprzętu
   • Nieprawidłowe etykiety
3. W jakim kierunku zanik masy przesuwa ciężary modelu?
   • W stronę nieskończoności
   • W kierunku największej wagi
   • W stronę zera
   • W stronę wartości losowych
4. Dlaczego wprowadzono AdamaW?
   • Aby oddzielić zanik masy od adaptacyjnej aktualizacji gradientu, aby zanik zachowywał się prawidłowo
   • Aby całkowicie usunąć gradient
   • Aby celowo spowolnić trening
   • Aby wyeliminować potrzebę szybkości uczenia się
5. W przypadku zwykłego stochastycznego gradientu, jak powiązane są ze sobą regularyzacja L2 i spadek masy?
   • Zawsze są przeciwieństwami
   • Są matematycznie równoważne
   • Zanik masy wyłącza gradient
   • L2 działa tylko dla SGD z pędem
6. Co kontroluje współczynnik lambda w regularyzacji L2?
   • Rozmiar partii
   • Liczba epok
   • Funkcja aktywacji
   • Siła kary przy dużych ciężarach
7. Why can adding an L2 term to Adam’s loss differ from applying decoupled weight decay?
   • Adaptive per-parameter gradient scaling can distort the coupled penalty
   • Adam cannot train with any regularization
   • The two methods use different training labels
   • Decoupled decay removes the data loss
8. In a simple decoupled update, what changes the fractional shrinkage of a weight?
   • Only the number of classes
   • Only the model’s input dimension
   • The learning rate and decay coefficient together
   • Only the validation-set size