Lookahead și Lion Optimizers Test

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

1. Care este pasul de calcul definitoriu în actualizarea greutății Lion Optimizer?
   • Luând semnul unui termen bazat pe impuls
   • Împărțirea gradientului la media sa pătrată de funcționare
   • Calcularea unei aproximații hessiene de ordinul doi
   • Media ponderilor în mai multe puncte de control
2. Cum își structurează Lookahead optimizarea?
   • Utilizează un singur set de greutăți actualizat de două ori pe pas
   • Menține ponderile „rapide” actualizate de un optimizator de bază și ponderi „lente” care se interpolează periodic către ele
   • Îndepărtează complet impulsul pentru a economisi memorie
   • Antrenează două rețele și face o medie a ieșirilor acestora
3. Cum a fost descoperit inițial optimizatorul Lion?
   • Prin derivarea manuală din teoria optimizării convexe
   • Făcând media actualizărilor SGD și Adam
   • Prin căutarea automată a programelor simbolice prin algoritmi de optimizare
   • Dintr-o simulare fizică a mișcării particulelor
4. În comparație cu Adam, care este un avantaj cheie al memoriei lui Lion?
   • Nu stochează deloc stare
   • Folosește automat greutăți cu jumătate de precizie
   • Împărtășește starea tuturor straturilor
   • Păstrează doar un tampon de impuls în loc de cei doi tensori de stare ai lui Adam
5. De ce Leul necesită de obicei o rată de învățare mai mică decât Adam?
   • Deoarece operațiunea semnelor uniformizează amploarea fiecărei actualizări, scalând efectiv pasul
   • Pentru că nu folosește niciun impuls
   • Pentru că procesează loturi mai mari
   • Pentru că dezactivează scăderea greutății
6. Un beneficiu practic al Lookahead este că tinde să facă antrenament:
   • Mai sensibil la alegerea hiperparametrilor
   • Mai stabil și mai robust, cu oscilații reduse
   • Mai lent pe pas cu un factor de zece
   • Incompatibil cu Adam sau SGD
7. Lookahead slow weights are 0 and the fast weights end an inner loop at 8. If alpha is 0.25, where do the slow weights move?
   • To 8, regardless of alpha
   • To −2, away from the fast weights
   • To 2, one quarter of the distance toward the fast weights
   • They remain at 0 because alpha only changes Lion
8. After Lookahead updates its slow weights at synchronization, where do the fast weights restart?
   • At the original random initialization
   • At the final validation predictions
   • At the previous slow weights before interpolation
   • At the updated slow-weight values for the next inner loop