Quiz dotyczący optymalizacji drugiego rzędu i metod Newtona

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Z jakich informacji korzysta metoda Newtona, a których nie wykorzystuje zwykłe opadanie gradientowe?
   • Krzywizna poprzez drugie pochodne macierzy Hessego
   • Dokładna lokalizacja minimum globalnego
   • Harmonogram tempa nauki
   • Liczba przykładów szkoleniowych
2. Aby osiągnąć cel idealnie kwadratowy, ile kroków musi wykonać metoda Newtona, aby osiągnąć minimum?
   • Dokładnie dziesięć kroków
   • Jeden krok
   • Ta sama liczba, co zejście gradientowe
   • To nigdy nie jest zbieżne
3. Dlaczego pełna metoda Newtona jest niepraktyczna w przypadku sieci neuronowych o miliardach parametrów?
   • Nie można obliczyć gradientu
   • W sieciach neuronowych drugie pochodne są zawsze zerowe
   • Hesjan to N na N, co kosztuje około N kwadratów pamięci i N obliczeń w kostkach do odwrócenia
   • Działa tylko na obrazach
4. Co robią metody quasi-newtonowskie, takie jak BFGS, aby uniknąć kosztu Hesja?
   • Całkowicie ignorują gradient
   • Losowo zgadują krzywiznę
   • Przekształcają problem w problem liniowy
   • Budują przybliżenie odwrotności Hesja na podstawie kolejnych różnic gradientów
5. W jaki sposób L-BFGS zmniejsza pamięć w porównaniu do BFGS?
   • Przechowuje tylko kilka ostatnich wektorów gradientu i kroku zamiast pełnej macierzy
   • Używa tylko pływaków o pojedynczej precyzji
   • Odrzuca gradient po każdym kroku
   • Trenuje na mniejszej liczbie parametrów
6. Które nowoczesne podejście przybliża krzywiznę, aby przyspieszyć uczenie dużych sieci neuronowych?
   • Kodowanie na gorąco
   • Metody oparte na czynniku Kroneckera, takie jak K-FAC i szampon
   • Zwykłe zejście w gradiencie stochastycznym bez modyfikacji
   • Rezygnacja
7. On an exact quadratic objective with an invertible Hessian, what assumption supports the one-step Newton result?
   • The learning rate is reduced to zero before the update
   • The Hessian is ignored and only a fixed scalar step is used
   • The full Newton update uses the exact gradient and Hessian of that quadratic
   • The objective is first converted to a linear function
8. A non-quadratic objective is optimized with Newton’s method. What role does its quadratic model play?
   • It guarantees the global minimum in one step
   • It replaces the need to evaluate a gradient
   • It makes every Hessian positive definite
   • It approximates local curvature, so later iterations may be needed as the model changes