Quiz collegato alla guida · Difficile Livello
Quiz Lookahead e Lion Optimizer
Controlla i pesi veloce e lento di Lookahead, l'aggiornamento dello slancio basato sui segni del Leone e le implicazioni per la scelta della memoria e della velocità di apprendimento.
Domanda 1 di 8
Qual è il passaggio computazionale determinante nell'aggiornamento del peso dell'ottimizzatore Lion?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Qual è il passaggio computazionale determinante nell'aggiornamento del peso dell'ottimizzatore Lion?
- Prendendo il segno di un termine basato sulla quantità di moto
- Dividendo il gradiente per la sua media corrente al quadrato
- Calcolo di un'approssimazione Hessiana del secondo ordine
- Media dei pesi su più checkpoint
- Come struttura Lookahead la sua ottimizzazione?
- Utilizza un singolo set di pesi aggiornato due volte per passaggio
- Mantiene i pesi "veloci" aggiornati da un ottimizzatore di base e i pesi "lenti" che periodicamente si interpolano verso di essi
- Rimuove completamente lo slancio per risparmiare memoria
- Addestra due reti e calcola la media dei loro output
- Come è stato originariamente scoperto l'ottimizzatore Lion?
- Derivandolo manualmente dalla teoria dell'ottimizzazione convessa
- Facendo la media degli aggiornamenti di SGD e Adam
- Attraverso la ricerca automatizzata di programmi simbolici su algoritmi di ottimizzazione
- Da una simulazione fisica del movimento delle particelle
- Rispetto ad Adam, qual è il vantaggio chiave in termini di memoria di Lion?
- Non memorizza alcuno stato
- Utilizza automaticamente pesi a mezza precisione
- Condivide lo stato su tutti i livelli
- Mantiene solo un buffer di quantità di moto invece dei due tensori di stato di Adamo
- Perché Lion in genere richiede un tasso di apprendimento inferiore rispetto ad Adam?
- Poiché l'operazione di segno rende uniforme la grandezza di ogni aggiornamento, ridimensionando efficacemente il passaggio
- Perché non utilizza slancio
- Perché elabora lotti più grandi
- Perché disabilita il decadimento del peso
- Un vantaggio pratico di Lookahead è che tende a rendere la formazione:
- Più sensibile alla scelta degli iperparametri
- Più stabile e robusto, con oscillazioni ridotte
- Più lento per passo di un fattore dieci
- Incompatibile con Adam o SGD
- Lookahead slow weights are 0 and the fast weights end an inner loop at 8. If alpha is 0.25, where do the slow weights move?
- To 8, regardless of alpha
- To −2, away from the fast weights
- To 2, one quarter of the distance toward the fast weights
- They remain at 0 because alpha only changes Lion
- After Lookahead updates its slow weights at synchronization, where do the fast weights restart?
- At the original random initialization
- At the final validation predictions
- At the previous slow weights before interpolation
- At the updated slow-weight values for the next inner loop