Prueba de optimización de anticipación y optimización de león

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Cuál es el paso computacional definitorio en la actualización de peso del optimizador Lion?
   • Tomando el signo de un término basado en el impulso
   • Dividiendo el gradiente por su promedio móvil al cuadrado
   • Calcular una aproximación de Hesse de segundo orden
   • Pesos promedio en múltiples puntos de control
2. ¿Cómo estructura Lookahead su optimización?
   • Utiliza un único conjunto de pesos actualizado dos veces por paso.
   • Mantiene pesos "rápidos" actualizados por un optimizador base y pesos "lentos" que se interpolan periódicamente hacia ellos.
   • Elimina el impulso por completo para ahorrar memoria.
   • Entrena dos redes y promedia sus resultados.
3. ¿Cómo se descubrió originalmente el optimizador Lion?
   • Derivándolo manualmente de la teoría de optimización convexa
   • Promediando las actualizaciones de SGD y Adam
   • Mediante búsqueda automatizada de programas simbólicos sobre algoritmos optimizadores.
   • A partir de una simulación física del movimiento de partículas.
4. En comparación con Adam, ¿cuál es la ventaja clave de Lion en la memoria?
   • No almacena ningún estado en absoluto.
   • Utiliza pesas de media precisión automáticamente.
   • Comparte el estado en todas las capas.
   • Mantiene solo un amortiguador de impulso en lugar de los dos tensores de estado de Adam.
5. ¿Por qué Lion normalmente requiere una tasa de aprendizaje menor que Adam?
   • Debido a que la operación de signo hace que la magnitud de cada actualización sea uniforme, escalando efectivamente el paso
   • Porque no usa impulso
   • Porque procesa lotes más grandes
   • Porque inhibe la pérdida de peso.
6. Un beneficio práctico de Lookahead es que tiende a hacer que la capacitación:
   • Más sensible a la elección de hiperparámetros.
   • Más estable y robusto, con oscilación reducida
   • Más lento por paso en un factor de diez
   • Incompatible con Adam o SGD
7. Lookahead slow weights are 0 and the fast weights end an inner loop at 8. If alpha is 0.25, where do the slow weights move?
   • To 8, regardless of alpha
   • To −2, away from the fast weights
   • To 2, one quarter of the distance toward the fast weights
   • They remain at 0 because alpha only changes Lion
8. After Lookahead updates its slow weights at synchronization, where do the fast weights restart?
   • At the original random initialization
   • At the final validation predictions
   • At the previous slow weights before interpolation
   • At the updated slow-weight values for the next inner loop