Kvíz spojený s průvodcem · Střední úroveň
Nesterov zrychlený přechodový kvíz
Testujte gradienty proudu versus výhled dopředu, korekce hybnosti, rozsah konvexní rychlosti, srovnatelné náklady, Nadam a numerický krok dopředu.
Otázka 1 z 8
Jaká je definující myšlenka Nesterova zrychleného gradientu ve srovnání s klasickou hybností?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaká je definující myšlenka Nesterova zrychleného gradientu ve srovnání s klasickou hybností?
- Zcela odstraňuje hybnost
- Používá pevnou rychlost učení 1,0
- Vyhodnocuje gradient v dopředném bodě spíše než aktuální pozici
- Funguje pouze bez minidávek
- Jaké prokazatelné míry konvergence dosahuje Nesterovova metoda na hladkých konvexních problémech?
- Objednávka 1/k^2
- Objednávka 1/k
- Objednávka 1/log k
- Žádná garantovaná sazba
- Kdo původně zavedl tuto metodu zrychleného gradientu?
- Geoffrey Hinton v roce 2012
- Isaac Newton
- John von Neumann
- Yurii Nesterov v roce 1983
- Proč dopředný gradient pomáhá v blízkosti zakřivených minim?
- Zvyšuje rychlost učení
- Předvídá překmit a aplikuje korekci dříve, než k němu dojde
- Vymaže člen rychlosti
- Randomizuje směr kroku
- Jaké jsou v praxi výpočetní náklady Nesterovovy hybnosti ve srovnání s klasickou hybností?
- Zhruba stejně, díky algebraicky přeskupené aktualizaci
- Asi desetkrát vyšší
- Vyžaduje to druhé derivace v každém kroku
- Nelze to spočítat na GPU
- Který adaptivní optimalizátor kombinuje výhled Nesterova se škálováním ve stylu Adama?
- RMSprop
- Adagrad
- Nadam
- LBFGS
- Using the stated look-ahead form, theta = 10, learning rate = 0.1, beta = 0.9 and velocity = 2 give which evaluation point?
- 10.18
- 9.82
- 8.20
- 10.90
- If beta is zero in the guide’s Nesterov look-ahead formula, where is the gradient evaluated?
- At a point displaced by the full old velocity
- At the previous validation score
- At an arbitrary future minibatch
- At the current parameter position