Quiz dotyczący rezygnacji i regularyzacji stochastycznej

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Co robi rezygnacja z treningu?
   • Trwale usuwa ciężary
   • Losowo ustawia część wyjść neuronowych na zero przy każdym przejściu do przodu
   • Podwaja tempo uczenia się
   • Dodaje więcej warstw do sieci
2. Dlaczego rezygnacja z nauki sprzyja uogólnianiu?
   • Zwiększa liczbę parametrów
   • Eliminuje to potrzebę danych szkoleniowych
   • Gwarantuje zerowy błąd szkolenia
   • Uniemożliwia neuronom koadaptację i wymusza redundantne, solidne reprezentacje
3. Co dzieje się z porzuceniem w czasie testu (wnioskowania)?
   • Jest wyłączony i używana jest pełna sieć
   • Usuwa jeszcze więcej neuronów
   • Usuwa połowę ciężarów
   • Losuje etykiety
4. Co w przybliżeniu oznacza współczynnik rezygnacji p = 0,5 w warstwie podczas treningu?
   • Wszystkie neurony są usuwane
   • Żadne neurony nie są dotknięte
   • Około połowa neuronów jest wyzerowana przy każdym przejściu
   • Warstwa zostanie usunięta
5. Co jest często określane jako przybliżone?
   • Pojedyncza regresja liniowa
   • Drzewo decyzyjne
   • Transformata Fouriera
   • Zespół wielu rozrzedzonych sieci o wspólnych wagach
6. Do czego służy przerwa w Monte Carlo?
   • Przyspieszenie ładowania danych
   • Szacowanie niepewności modelu poprzez utrzymywanie aktywności rezygnacji przy wnioskowaniu
   • Kompresja sieci do mniejszych wag
   • Automatyczne etykietowanie danych szkoleniowych
7. With inverted dropout, why is no extra activation scaling normally needed at ordinary inference?
   • The keep probability becomes exactly zero
   • Inference always averages new random masks
   • Surviving activations were already scaled during training
   • Every weight is divided by the number of layers
8. The same input yields varying predictions because dropout remains active during evaluation. What explains the variation?
   • New random masks sample different subnetworks on each pass
   • The input changes its label by itself
   • The network has no trained weights
   • Batch size must be one