Quiz Lookahead i Lion Optimizers

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Jaki jest decydujący krok obliczeniowy w aktualizacji masy optymalizatora Lion?
   • Przyjmowanie znaku terminu opartego na pędzie
   • Dzielenie gradientu przez kwadratową średnią kroczącą
   • Obliczanie przybliżenia Hessego drugiego rzędu
   • Uśrednianie wag w wielu punktach kontrolnych
2. Jak Lookahead organizuje optymalizację?
   • Wykorzystuje pojedynczy zestaw wag aktualizowanych dwa razy na krok
   • Utrzymuje „szybkie” wagi aktualizowane przez podstawowy optymalizator i „wolne” wagi, które okresowo interpolują w ich kierunku
   • Całkowicie usuwa pęd, aby zaoszczędzić pamięć
   • Uczy dwie sieci i uśrednia ich wyniki
3. Jak pierwotnie odkryto optymalizator Lion?
   • Ręcznie wywodząc to z teorii optymalizacji wypukłej
   • Uśredniając aktualizacje SGD i Adama
   • Poprzez automatyczne symboliczne wyszukiwanie programów za pomocą algorytmów optymalizujących
   • Z symulacji fizycznej ruchu cząstek
4. Jaka jest kluczowa przewaga Liona w zakresie pamięci w porównaniu z Adamem?
   • Nie przechowuje żadnego stanu
   • Automatycznie wykorzystuje odważniki o połowie precyzji
   • Dzieli stan na wszystkie warstwy
   • Zachowuje tylko jeden bufor pędu zamiast dwóch tensorów stanu Adama
5. Dlaczego Lion zazwyczaj wymaga mniejszego tempa uczenia się niż Adam?
   • Ponieważ operacja znaku sprawia, że wielkość każdej aktualizacji jest jednolita, skutecznie skalując krok
   • Ponieważ nie wykorzystuje pędu
   • Ponieważ przetwarza większe partie
   • Ponieważ uniemożliwia spadek wagi
6. Praktyczną zaletą Lookahead jest to, że szkolenie ma tendencję do:
   • Bardziej wrażliwy na wybór hiperparametrów
   • Bardziej stabilny i solidny, ze zmniejszonymi oscylacjami
   • Wolniej na krok dziesięciokrotnie
   • Niekompatybilny z Adamem i SGD
7. Lookahead slow weights are 0 and the fast weights end an inner loop at 8. If alpha is 0.25, where do the slow weights move?
   • To 8, regardless of alpha
   • To −2, away from the fast weights
   • To 2, one quarter of the distance toward the fast weights
   • They remain at 0 because alpha only changes Lion
8. After Lookahead updates its slow weights at synchronization, where do the fast weights restart?
   • At the original random initialization
   • At the final validation predictions
   • At the previous slow weights before interpolation
   • At the updated slow-weight values for the next inner loop