Prueba de optimización de segundo orden y métodos de Newton

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Qué información utiliza el método de Newton que no utiliza el descenso de gradiente simple?
   • Curvatura, a través de las segundas derivadas en la matriz de Hesse.
   • La ubicación exacta del mínimo global.
   • El calendario de tasas de aprendizaje.
   • El número de ejemplos de entrenamiento.
2. Para un objetivo perfectamente cuadrático, ¿cuántos pasos necesita el método de Newton para alcanzar el mínimo?
   • exactamente diez pasos
   • un paso
   • El mismo número que el descenso de gradiente.
   • nunca converge
3. ¿Por qué el método completo de Newton no es práctico para redes neuronales de mil millones de parámetros?
   • El gradiente no se puede calcular
   • Las segundas derivadas son siempre cero en las redes neuronales.
   • El hessiano es N por N, lo que cuesta aproximadamente memoria N al cuadrado y cálculo N al cubo para invertir
   • Sólo funciona en imágenes.
4. ¿Qué hacen los métodos cuasi-Newton como BFGS para evitar el costo del Hesse?
   • Ignoran el gradiente por completo.
   • Adivinan al azar la curvatura.
   • Convierten el problema a uno lineal.
   • Construyen una aproximación del hessiano inverso a partir de sucesivas diferencias de gradiente
5. ¿Cómo reduce L-BFGS la memoria en comparación con BFGS?
   • Almacena sólo los últimos vectores de gradiente y paso en lugar de la matriz completa.
   • Utiliza únicamente flotadores de precisión simple.
   • Descarta el gradiente después de cada paso.
   • Se entrena con menos parámetros.
6. ¿Qué enfoque moderno se aproxima a la curvatura para acelerar el entrenamiento de grandes redes neuronales?
   • Codificación one-hot
   • Métodos factorizados Kronecker como K-FAC y Shampoo
   • Descenso de gradiente estocástico simple sin modificaciones
   • Abandono
7. On an exact quadratic objective with an invertible Hessian, what assumption supports the one-step Newton result?
   • The learning rate is reduced to zero before the update
   • The Hessian is ignored and only a fixed scalar step is used
   • The full Newton update uses the exact gradient and Hessian of that quadratic
   • The objective is first converted to a linear function
8. A non-quadratic objective is optimized with Newton’s method. What role does its quadratic model play?
   • It guarantees the global minimum in one step
   • It replaces the need to evaluate a gradient
   • It makes every Hessian positive definite
   • It approximates local curvature, so later iterations may be needed as the model changes