Maswali ya Kuharakisha Gradient ya Nesterov

Majibu na maelezo huonekana unapojibu maswali.

1. Ni wazo gani linalofafanua la Nesterov Accelerated Gradient ikilinganishwa na kasi ya zamani?
   • Inaondoa kasi kabisa
   • Inatumia kiwango kisichobadilika cha kujifunza cha 1.0
   • Hutathmini upinde rangi katika sehemu ya kutazama mbele badala ya nafasi ya sasa
   • Inafanya kazi tu bila batches ndogo
2. Njia ya Nesterov inafikia kiwango gani cha muunganiko kwenye shida laini za mbonyeo?
   • Agiza 1/k^2
   • Agiza 1/k
   • Agizo 1/logi k
   • Hakuna kiwango cha uhakika
3. Nani awali alianzisha njia hii ya upinde rangi iliyoharakishwa?
   • Geoffrey Hinton mnamo 2012
   • Isaac Newton
   • John von Neumann
   • Yurii Nesterov mnamo 1983
4. Kwa nini kipenyo cha kuangalia mbele kinasaidia karibu na minima iliyopinda?
   • Inaongeza kiwango cha kujifunza
   • Inatarajia kupindukia na kutumia masahihisho kabla hayajatokea
   • Inafuta neno la kasi
   • Inabadilisha mwelekeo wa hatua
5. Kwa mazoezi, gharama ya hesabu ya kasi ya Nesterov inalinganishwaje na kasi ya zamani?
   • Takriban sawa, shukrani kwa sasisho lililopangwa upya kialjebra
   • Karibu mara kumi juu
   • Inahitaji derivatives ya pili kila hatua
   • Haiwezi kukokotwa kwenye GPU
6. Ni kiboreshaji kipi kinachoweza kubadilika kinachochanganya kuangalia mbele kwa Nesterov na kuongeza kwa mtindo wa Adamu?
   • RMSprop
   • Adagrad
   • Nadam
   • LPFGS
7. Using the stated look-ahead form, theta = 10, learning rate = 0.1, beta = 0.9 and velocity = 2 give which evaluation point?
   • 10.18
   • 9.82
   • 8.20
   • 10.90
8. If beta is zero in the guide’s Nesterov look-ahead formula, where is the gradient evaluated?
   • At a point displaced by the full old velocity
   • At the previous validation score
   • At an arbitrary future minibatch
   • At the current parameter position