Quiz collegato alla guida · Difficile Livello

Quiz Lookahead e Lion Optimizer

Controlla i pesi veloce e lento di Lookahead, l'aggiornamento dello slancio basato sui segni del Leone e le implicazioni per la scelta della memoria e della velocità di apprendimento.

Percorsi guida correlatiLookahead e ottimizzatori Lion
Domanda 1 di 8

Qual è il passaggio computazionale determinante nell'aggiornamento del peso dell'ottimizzatore Lion?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Qual è il passaggio computazionale determinante nell'aggiornamento del peso dell'ottimizzatore Lion?
    • Prendendo il segno di un termine basato sulla quantità di moto
    • Dividendo il gradiente per la sua media corrente al quadrato
    • Calcolo di un'approssimazione Hessiana del secondo ordine
    • Media dei pesi su più checkpoint
  2. Come struttura Lookahead la sua ottimizzazione?
    • Utilizza un singolo set di pesi aggiornato due volte per passaggio
    • Mantiene i pesi "veloci" aggiornati da un ottimizzatore di base e i pesi "lenti" che periodicamente si interpolano verso di essi
    • Rimuove completamente lo slancio per risparmiare memoria
    • Addestra due reti e calcola la media dei loro output
  3. Come è stato originariamente scoperto l'ottimizzatore Lion?
    • Derivandolo manualmente dalla teoria dell'ottimizzazione convessa
    • Facendo la media degli aggiornamenti di SGD e Adam
    • Attraverso la ricerca automatizzata di programmi simbolici su algoritmi di ottimizzazione
    • Da una simulazione fisica del movimento delle particelle
  4. Rispetto ad Adam, qual è il vantaggio chiave in termini di memoria di Lion?
    • Non memorizza alcuno stato
    • Utilizza automaticamente pesi a mezza precisione
    • Condivide lo stato su tutti i livelli
    • Mantiene solo un buffer di quantità di moto invece dei due tensori di stato di Adamo
  5. Perché Lion in genere richiede un tasso di apprendimento inferiore rispetto ad Adam?
    • Poiché l'operazione di segno rende uniforme la grandezza di ogni aggiornamento, ridimensionando efficacemente il passaggio
    • Perché non utilizza slancio
    • Perché elabora lotti più grandi
    • Perché disabilita il decadimento del peso
  6. Un vantaggio pratico di Lookahead è che tende a rendere la formazione:
    • Più sensibile alla scelta degli iperparametri
    • Più stabile e robusto, con oscillazioni ridotte
    • Più lento per passo di un fattore dieci
    • Incompatibile con Adam o SGD
  7. Lookahead slow weights are 0 and the fast weights end an inner loop at 8. If alpha is 0.25, where do the slow weights move?
    • To 8, regardless of alpha
    • To −2, away from the fast weights
    • To 2, one quarter of the distance toward the fast weights
    • They remain at 0 because alpha only changes Lion
  8. After Lookahead updates its slow weights at synchronization, where do the fast weights restart?
    • At the original random initialization
    • At the final validation predictions
    • At the previous slow weights before interpolation
    • At the updated slow-weight values for the next inner loop