Prueba de gradiente acelerado de Nesterov

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Cuál es la idea definitoria del gradiente acelerado de Nesterov en comparación con el impulso clásico?
   • Elimina el impulso por completo
   • Utiliza una tasa de aprendizaje fija de 1,0.
   • Evalúa el gradiente en un punto de anticipación en lugar de la posición actual.
   • Solo funciona sin minilotes
2. ¿Qué tasa de convergencia demostrable logra el método de Nesterov en problemas convexos suaves?
   • Orden 1/k^2
   • Orden 1/k
   • Orden 1/logk
   • Sin tarifa garantizada
3. ¿Quién introdujo originalmente este método de gradiente acelerado?
   • Geoffrey Hinton en 2012
   • isaac newton
   • Juan von Neumann
   • Yuri Nesterov en 1983
4. ¿Por qué el gradiente anticipado ayuda cerca de los mínimos curvos?
   • Aumenta la tasa de aprendizaje.
   • Anticipa el exceso y aplica una corrección antes de que suceda.
   • Elimina el término de velocidad.
   • Aleatoriza la dirección del paso.
5. En la práctica, ¿cómo se compara el costo computacional del impulso de Nesterov con el impulso clásico?
   • Más o menos lo mismo, gracias a una actualización reordenada algebraicamente
   • Aproximadamente diez veces mayor
   • Requiere segundas derivadas en cada paso.
   • No se puede calcular en GPU
6. ¿Qué optimizador adaptativo combina la anticipación de Nesterov con el escalado al estilo Adam?
   • RMSprop
   • Adagrado
   • nadam
   • LBFGS
7. Using the stated look-ahead form, theta = 10, learning rate = 0.1, beta = 0.9 and velocity = 2 give which evaluation point?
   • 10.18
   • 9.82
   • 8.20
   • 10.90
8. If beta is zero in the guide’s Nesterov look-ahead formula, where is the gradient evaluated?
   • At a point displaced by the full old velocity
   • At the previous validation score
   • At an arbitrary future minibatch
   • At the current parameter position