Niestierow Przyspieszony quiz gradientowy

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Jaka jest główna idea Przyspieszonego Gradientu Niestierowa w porównaniu z klasycznym pędem?
   • Całkowicie usuwa pęd
   • Wykorzystuje stałą szybkość uczenia się wynoszącą 1,0
   • Ocenia gradient w punkcie przewidywanym, a nie w bieżącej pozycji
   • Działa tylko bez mini-partii
2. Jaki możliwy do udowodnienia stopień zbieżności osiąga metoda Niestierowa w przypadku gładkich problemów wypukłych?
   • Zamów 1/k^2
   • Zamówienie 1/k
   • Zamówienie 1/log k
   • Brak gwarantowanej stawki
3. Kto pierwotnie wprowadził tę metodę przyspieszonego gradientu?
   • Geoffreya Hintona w 2012 r
   • Izaaka Newtona
   • Johna von Neumanna
   • Jurij Niestierow w 1983 r
4. Dlaczego gradient przewidywania pomaga w pobliżu zakrzywionych minimów?
   • Zwiększa tempo uczenia się
   • Przewiduje przeregulowanie i stosuje korektę, zanim to nastąpi
   • Usuwa człon prędkości
   • Losuje kierunek kroku
5. Jak w praktyce koszt obliczeniowy pędu Niestierowa wypada w porównaniu z pędem klasycznym?
   • Mniej więcej tak samo, dzięki algebraicznie uporządkowanej aktualizacji
   • Około dziesięć razy wyższy
   • Wymaga to drugich pochodnych na każdym kroku
   • Nie można tego obliczyć na procesorach graficznych
6. Który optymalizator adaptacyjny łączy przewidywanie Nestierowa ze skalowaniem w stylu Adama?
   • RMSprop
   • Adagrad
   • Nadam
   • LBFGS
7. Using the stated look-ahead form, theta = 10, learning rate = 0.1, beta = 0.9 and velocity = 2 give which evaluation point?
   • 10.18
   • 9.82
   • 8.20
   • 10.90
8. If beta is zero in the guide’s Nesterov look-ahead formula, where is the gradient evaluated?
   • At a point displaced by the full old velocity
   • At the previous validation score
   • At an arbitrary future minibatch
   • At the current parameter position