Descenso de gradiente estocástico con cuestionario de impulso

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Qué se acumula el término de impulso durante el entrenamiento?
   • El número total de épocas de entrenamiento.
   • Un promedio móvil (ponderado exponencialmente) de gradientes pasados
   • El tamaño del conjunto de datos.
   • El historial de precisión del modelo.
2. En un barranco largo y estrecho, ¿qué problema sufre el SGD que el impulso ayuda a solucionar?
   • Se desborda numéricamente
   • Deja de calcular gradientes
   • Aumenta la tasa de aprendizaje automáticamente.
   • Zigzaguea por las empinadas paredes mientras avanza lentamente por el suelo.
3. Un valor predeterminado común para el coeficiente de impulso es:
   • 0,9
   • 0.0
   • 0,5
   • 2.0
4. ¿Qué analogía física se utiliza con más frecuencia para describir el impulso?
   • Un péndulo oscilando para siempre
   • Un resorte regresando
   • Una bola pesada rodando cuesta abajo.
   • Congelación de agua
5. ¿Aproximadamente cuánto amplifica el impulso el paso efectivo en una dirección consistente cuando beta = 0,9?
   • Aproximadamente 2 veces
   • Aproximadamente 0,1 veces
   • Sin amplificación
   • Unas 10 veces
6. ¿Qué optimizador moderno incorpora una estimación del primer momento estilo impulso?
   • El método de Newton
   • Adán
   • K-medias
   • búsqueda aleatoria
7. In the update v = beta times v plus gradient, what happens when beta is zero?
   • The old velocity is doubled
   • Every gradient becomes zero
   • The previous velocity is discarded and the current gradient determines the step
   • The parameters stop depending on the learning rate
8. Why can repeated gradients with opposing sideways directions produce less zig-zagging under momentum?
   • Their opposing contributions can partially cancel in accumulated velocity
   • All past gradients are stored as separate parameters
   • The loss becomes convex automatically
   • Momentum ignores the current gradient entirely