Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Neszterov gyorsított gradiens kvíz
Test current versus look-ahead gradients, momentum correction, convex-rate scope, comparable cost, Nadam, and a numeric look-ahead step.
kérdés 1 -ból 8
Mi a Nesterov Accelerated Gradient meghatározó ötlete a klasszikus lendülethez képest?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mi a Nesterov Accelerated Gradient meghatározó ötlete a klasszikus lendülethez képest?
- Teljesen eltávolítja a lendületet
- Rögzített 1.0-s tanulási sebességet használ
- A gradienst egy előretekintési pontban értékeli, nem pedig az aktuális pozícióban
- Csak mini-kötegek nélkül működik
- Milyen bizonyítható konvergencia rátát ér el Neszterov módszere sima konvex problémákon?
- Rendelés 1/k^2
- Rendelés 1/k
- Rendelés 1/log k
- Nincs garantált árfolyam
- Ki vezette be eredetileg ezt a gyorsított gradiens módszert?
- Geoffrey Hinton 2012-ben
- Isaac Newton
- Neumann János
- Jurij Neszterov 1983-ban
- Miért segít az előretekintő gradiens ívelt minimumok közelében?
- Növeli a tanulási sebességet
- Előre veszi a túllépést, és korrekciót alkalmaz, mielőtt az megtörténne
- Törli a sebesség kifejezést
- Véletlenszerűvé teszi a lépés irányát
- A gyakorlatban hogyan viszonyul a Neszterov-impulzus számítási költsége a klasszikus lendülethez?
- Nagyjából ugyanaz, köszönhetően egy algebrailag átrendeződött frissítésnek
- Körülbelül tízszer magasabb
- Minden lépésben második deriváltra van szükség
- GPU-n nem lehet kiszámolni
- Melyik adaptív optimalizáló kombinálja a Nesterov-előretekintést az Adam-stílusú skálázással?
- RMSprop
- Adagrad
- Nadam
- LBFGS
- Using the stated look-ahead form, theta = 10, learning rate = 0.1, beta = 0.9 and velocity = 2 give which evaluation point?
- 10.18
- 9.82
- 8.20
- 10.90
- If beta is zero in the guide’s Nesterov look-ahead formula, where is the gradient evaluated?
- At a point displaced by the full old velocity
- At the previous validation score
- At an arbitrary future minibatch
- At the current parameter position