Il prossimoProssima guida
Offload dello stato dell'ottimizzatore su CPU e NVMe
Tecnico
GUIDA TECNICA
Lookahead e Lion sono due innovazioni moderne nell'ottimizzazione delle reti neurali.
Ascolta questa guidaNarrato dall'IA · ~2 min
Lookahead avvolge qualsiasi ottimizzatore base con pesi 'lenti' e 'veloci' per un progresso più stabile, mentre Lion (EvoLved Sign Momentum) è stato scoperto tramite una ricerca di un programma AI e aggiorna i pesi usando solo il termine del segno di un momento — rendendolo leggero in memoria e spesso più veloce di Adam.
Lookahead, proposto da Zhang, Hinton e colleghi nel 2019, esegue un ottimizzatore "veloce" standard (come Adam o SGD) per k passaggi, quindi spinge un insieme separato di pesi "lenti" per una frazione del percorso verso il punto in cui sono finiti i pesi veloci. Ciò smorza le oscillazioni e riduce la sensibilità agli iperparametri. Lion, pubblicato da Google nel 2023, è nato dalla ricerca simbolica di programmi su algoritmi di ottimizzazione. Tiene traccia dello slancio ma applica la funzione di segno all'aggiornamento, quindi ogni parametro si sposta di una dimensione di passo fissa nella direzione del segno del gradiente accumulato. Lion immagazzina solo il buffer di slancio (metà dello stato di Adam, che ne mantiene due), utilizza un decadimento del peso maggiore e un tasso di apprendimento inferiore e ha eguagliato o battuto Adam su modelli visivi e linguistici di grandi dimensioni mentre si allenava più velocemente ed in modo più economico.
Avvolgimento di Adam con Lookahead per stabilizzare l'addestramento dei trasformatori e ridurre lo sforzo di ottimizzazione degli iperparametri.
Utilizzo di Lion per addestrare modelli di visione di grandi dimensioni (ad esempio ViT) con una memoria di ottimizzazione inferiore rispetto ad Adam.
Pre-addestramento di modelli linguistici con Lion per ottenere una precisione paragonabile a costi di elaborazione ridotti.
Combinazione di Lookahead con SGD negli agenti di apprendimento per rinforzo per attenuare gli aggiornamenti politici rumorosi.
Lion è stato adottato in diversi corsi di formazione su larga scala perché riduce la memoria dell'ottimizzatore e può accelerare la convergenza, e la sua scoperta mostra la ricerca automatizzata dell'algoritmo "AI-designing-AI" come una vera fonte di vantaggi pratici. Aspettatevi più ottimizzatori derivati dalla ricerca, schemi ibridi che fondono pesi lenti in stile Lookahead con aggiornamenti basati su segni e un crescente interesse per ottimizzatori efficienti in termini di memoria poiché le dimensioni dei modelli continuano a stressare i budget di memoria della GPU.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Lookahead e Lion sono due innovazioni moderne nell'ottimizzazione delle reti neurali. Lookahead avvolge qualsiasi ottimizzatore di base con pesi "lenti" e "veloci" per progressi più stabili, mentre Lion (EvoLved Sign Momentum) è stato scoperto da una ricerca di un programma di intelligenza artificiale e aggiorna i pesi utilizzando solo il segno di un termine di momentum, rendendolo leggero e spesso più veloce di Adam.
Lion applica la funzione di segno a un termine di quantità di moto interpolato, quindi ogni parametro si sposta di un passo uniforme nella direzione del segno del gradiente.
Lookahead esegue un veloce ottimizzatore interno per k passaggi, quindi sposta i pesi lenti per una frazione del percorso verso i pesi veloci e si ripristina.
Lion (EvoLved Sign Momentum) è emerso da una procedura di ricerca di programmi che ha sviluppato e valutato i programmi di ottimizzazione dei candidati.
Adam tiene traccia sia del primo che del secondo momento; Lion mantiene un solo momentum buffer, dimezzando all'incirca la memoria di stato dell'ottimizzatore.
Poiché la funzione di segno fissa l'entità dell'aggiornamento di ciascuna coordinata, il passo effettivo è ampio, quindi viene utilizzata una velocità di apprendimento inferiore (e un decadimento del peso maggiore).
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Offload dello stato dell'ottimizzatore su CPU e NVMe
Tecnico