Quiz dotyczący stochastycznego uśredniania masy ciała

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Co właściwie uśrednia stochastyczne uśrednianie wagi?
   • Masy modelu próbkowane w wielu punktach na koniec treningu
   • Przewidywania kilku oddzielnie przeszkolonych modeli
   • Gradienty obliczono dla wszystkich minipartii
   • Szybkości uczenia się stosowane w każdej epoce
2. Dlaczego SWA ma tendencję do poprawiania generalizacji?
   • Dokładniej zapamiętuje zbiór treningowy
   • Znajduje szersze, bardziej płaskie minima, które są bardziej niezawodne w przypadku niewidocznych danych
   • Zwiększa to liczbę parametrów w modelu
   • Eliminuje to potrzebę stosowania zestawu walidacyjnego
3. Jakiego dodatkowego kroku wymaga SWA w przypadku sieci korzystających z normalizacji wsadowej?
   • Przeszkolenie sieci od zera
   • Podwojenie wielkości partii
   • Dodatkowe podanie w przód umożliwiające ponowne obliczenie statystyk biegu BN
   • Usuwanie wszystkich warstw porzuconych
4. Jakie zachowanie związane z szybkością uczenia się jest zwykle stosowane podczas fazy uśredniania SWA?
   • Szybkość uczenia się spadła dokładnie do zera
   • Szybkość uczenia się wynosząca jeden dla stabilności
   • Brak tempa uczenia się, ponieważ szkolenie zostało zamrożone
   • Stały lub cykliczny, stosunkowo wysoki współczynnik uczenia się
5. Jak koszt wnioskowania SWA wypada w porównaniu z tradycyjnym zestawem N modeli?
   • Kosztuje mniej więcej jeden model, ponieważ efektem jest jeden zestaw obciążników
   • Jest N razy droższy
   • Jest identyczny z działającymi modelami N
   • Nie można go używać do wnioskowania
6. Why does the batch-normalization adjustment belong after SWA weight averaging?
   • The averaging step deletes every convolution
   • Its running statistics must be recomputed for the averaged weights
   • It converts batch normalization into layer normalization
   • It restores the original optimizer learning rate
7. An SWA running mean combines n previous samples with a new weight vector w_i. Which update gives equal weight to all n+1 samples?
   • w_SWA + n · w_i
   • (w_SWA + w_i) divided by n
   • (n · w_SWA + w_i) divided by (n + 1)
   • n · (w_SWA − w_i)
8. Why is SWA commonly started during the later part of training?
   • It requires the model to remain at random initialization
   • It can only average models with different architectures
   • It replaces the training data with validation examples
   • It averages nearby useful checkpoints from a trajectory after the model has made substantial progress