Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Neszterov gyorsított gradiens kvíz

Test current versus look-ahead gradients, momentum correction, convex-rate scope, comparable cost, Nadam, and a numeric look-ahead step.

Kapcsolódó útmutató utakNeszterov gyorsított gradiens
kérdés 1 -ból 8

Mi a Nesterov Accelerated Gradient meghatározó ötlete a klasszikus lendülethez képest?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mi a Nesterov Accelerated Gradient meghatározó ötlete a klasszikus lendülethez képest?
    • Teljesen eltávolítja a lendületet
    • Rögzített 1.0-s tanulási sebességet használ
    • A gradienst egy előretekintési pontban értékeli, nem pedig az aktuális pozícióban
    • Csak mini-kötegek nélkül működik
  2. Milyen bizonyítható konvergencia rátát ér el Neszterov módszere sima konvex problémákon?
    • Rendelés 1/k^2
    • Rendelés 1/k
    • Rendelés 1/log k
    • Nincs garantált árfolyam
  3. Ki vezette be eredetileg ezt a gyorsított gradiens módszert?
    • Geoffrey Hinton 2012-ben
    • Isaac Newton
    • Neumann János
    • Jurij Neszterov 1983-ban
  4. Miért segít az előretekintő gradiens ívelt minimumok közelében?
    • Növeli a tanulási sebességet
    • Előre veszi a túllépést, és korrekciót alkalmaz, mielőtt az megtörténne
    • Törli a sebesség kifejezést
    • Véletlenszerűvé teszi a lépés irányát
  5. A gyakorlatban hogyan viszonyul a Neszterov-impulzus számítási költsége a klasszikus lendülethez?
    • Nagyjából ugyanaz, köszönhetően egy algebrailag átrendeződött frissítésnek
    • Körülbelül tízszer magasabb
    • Minden lépésben második deriváltra van szükség
    • GPU-n nem lehet kiszámolni
  6. Melyik adaptív optimalizáló kombinálja a Nesterov-előretekintést az Adam-stílusú skálázással?
    • RMSprop
    • Adagrad
    • Nadam
    • LBFGS
  7. Using the stated look-ahead form, theta = 10, learning rate = 0.1, beta = 0.9 and velocity = 2 give which evaluation point?
    • 10.18
    • 9.82
    • 8.20
    • 10.90
  8. If beta is zero in the guide’s Nesterov look-ahead formula, where is the gradient evaluated?
    • At a point displaced by the full old velocity
    • At the previous validation score
    • At an arbitrary future minibatch
    • At the current parameter position