Quiz sur les anticipations et les optimiseurs Lion

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. Quelle est l'étape de calcul déterminante dans la mise à jour du poids de l'optimiseur Lion ?
   • Prendre le signe d’un mandat dynamique
   • Diviser le gradient par sa moyenne mobile au carré
   • Calcul d'une approximation hessienne du second ordre
   • Calculer la moyenne des poids sur plusieurs points de contrôle
2. Comment Lookahead structure-t-il son optimisation ?
   • Il utilise un seul ensemble de poids mis à jour deux fois par étape
   • Il maintient des poids « rapides » mis à jour par un optimiseur de base et des poids « lents » qui s'interpolent périodiquement vers eux.
   • Il supprime complètement l'élan pour économiser de la mémoire
   • Il forme deux réseaux et fait la moyenne de leurs sorties
3. Comment l’optimiseur Lion a-t-il été découvert à l’origine ?
   • En le dérivant manuellement de la théorie de l'optimisation convexe
   • En faisant la moyenne des mises à jour de SGD et Adam
   • Grâce à la recherche automatisée de programmes symboliques sur les algorithmes d'optimisation
   • À partir d'une simulation physique du mouvement des particules
4. Par rapport à Adam, quel est l’avantage clé de Lion en matière de mémoire ?
   • Il ne stocke aucun état du tout
   • Il utilise automatiquement des poids de demi-précision
   • Il partage l'état sur toutes les couches
   • Il ne conserve qu'un seul tampon d'impulsion au lieu des deux tenseurs d'état d'Adam
5. Pourquoi Lion nécessite-t-il généralement un taux d'apprentissage inférieur à celui d'Adam ?
   • Parce que l'opération de signe rend l'ampleur de chaque mise à jour uniforme, ce qui réduit efficacement l'étape
   • Parce qu'il n'utilise aucun élan
   • Parce qu'il traite des lots plus importants
   • Parce qu'il désactive la perte de poids
6. Un avantage pratique de Lookahead est qu’il tend à réaliser des formations :
   • Plus sensible au choix des hyperparamètres
   • Plus stable et robuste, avec une oscillation réduite
   • Plus lent par pas d'un facteur dix
   • Incompatible avec Adam ou SGD
7. Lookahead slow weights are 0 and the fast weights end an inner loop at 8. If alpha is 0.25, where do the slow weights move?
   • To 8, regardless of alpha
   • To −2, away from the fast weights
   • To 2, one quarter of the distance toward the fast weights
   • They remain at 0 because alpha only changes Lion
8. After Lookahead updates its slow weights at synchronization, where do the fast weights restart?
   • At the original random initialization
   • At the final validation predictions
   • At the previous slow weights before interpolation
   • At the updated slow-weight values for the next inner loop