Kvíz spojený s průvodcem · Střední úroveň

Nesterov zrychlený přechodový kvíz

Testujte gradienty proudu versus výhled dopředu, korekce hybnosti, rozsah konvexní rychlosti, srovnatelné náklady, Nadam a numerický krok dopředu.

Související vodicí cestyNesterov zrychlený gradient
Otázka 1 z 8

Jaká je definující myšlenka Nesterova zrychleného gradientu ve srovnání s klasickou hybností?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaká je definující myšlenka Nesterova zrychleného gradientu ve srovnání s klasickou hybností?
    • Zcela odstraňuje hybnost
    • Používá pevnou rychlost učení 1,0
    • Vyhodnocuje gradient v dopředném bodě spíše než aktuální pozici
    • Funguje pouze bez minidávek
  2. Jaké prokazatelné míry konvergence dosahuje Nesterovova metoda na hladkých konvexních problémech?
    • Objednávka 1/k^2
    • Objednávka 1/k
    • Objednávka 1/log k
    • Žádná garantovaná sazba
  3. Kdo původně zavedl tuto metodu zrychleného gradientu?
    • Geoffrey Hinton v roce 2012
    • Isaac Newton
    • John von Neumann
    • Yurii Nesterov v roce 1983
  4. Proč dopředný gradient pomáhá v blízkosti zakřivených minim?
    • Zvyšuje rychlost učení
    • Předvídá překmit a aplikuje korekci dříve, než k němu dojde
    • Vymaže člen rychlosti
    • Randomizuje směr kroku
  5. Jaké jsou v praxi výpočetní náklady Nesterovovy hybnosti ve srovnání s klasickou hybností?
    • Zhruba stejně, díky algebraicky přeskupené aktualizaci
    • Asi desetkrát vyšší
    • Vyžaduje to druhé derivace v každém kroku
    • Nelze to spočítat na GPU
  6. Který adaptivní optimalizátor kombinuje výhled Nesterova se škálováním ve stylu Adama?
    • RMSprop
    • Adagrad
    • Nadam
    • LBFGS
  7. Using the stated look-ahead form, theta = 10, learning rate = 0.1, beta = 0.9 and velocity = 2 give which evaluation point?
    • 10.18
    • 9.82
    • 8.20
    • 10.90
  8. If beta is zero in the guide’s Nesterov look-ahead formula, where is the gradient evaluated?
    • At a point displaced by the full old velocity
    • At the previous validation score
    • At an arbitrary future minibatch
    • At the current parameter position