Il prossimoProssima guida
ZeRO e ottimizzatori frammentati
Tecnico
GUIDA TECNICA
Adam è il cavallo di ottimizzazione dietro la maggior parte delle reti neurali moderne, che regola automaticamente una velocità di apprendimento separata per ogni parametro.
Ascolta questa guidaNarrato dall'IA · ~2 min
It matters because it makes training deep models faster and far less finicky than plain gradient descent.
Adam (Adaptive Moment Estimation), introdotto da Kingma e Ba nel 2014, combina due idee. Innanzitutto, lo slancio: mantiene una media in decadimento esponenziale dei gradienti passati (il primo momento) in modo che gli aggiornamenti aumentino la velocità in direzioni coerenti. In secondo luogo, il ridimensionamento per parametro: tiene traccia di una media dei gradienti quadrati (il secondo momento) e divide ogni passaggio per la radice quadrata di quel valore, quindi i parametri con gradienti ampi e rumorosi richiedono passaggi più piccoli e quelli raramente aggiornati richiedono passaggi più ampi. Questa adattività significa che puoi spesso utilizzare una velocità di apprendimento su un'intera rete. Una variante, AdamW, disaccoppia il decadimento del peso dall'aggiornamento del gradiente ed è diventata l'impostazione predefinita per l'addestramento di grandi trasformatori e modelli linguistici.
Addestramento di modelli linguistici di grandi dimensioni come GPT e Llama, che utilizzano AdamW come ottimizzatore standard.
Ottimizzazione di un classificatore di immagini preaddestrato (ad esempio ResNet) su un set di dati personalizzato con solo una velocità di apprendimento Adam predefinita.
Addestramento dei modelli di diffusione dietro generatori di immagini come Stable Diffusion.
Esecuzione di Adam a 8 bit in librerie come bitsandbytes per adattare gli stati dell'ottimizzatore alla memoria limitata della GPU.
Adam e AdamW rimangono dominanti, ma la ricerca sta spingendo l’efficienza per i modelli da trilioni di parametri, dove memorizzare due valori extra per peso è costoso. Varianti memory-light come Adafactor, Adam a 8 bit e ottimizzatori più recenti come Lion (che utilizza solo slancio basato sui segni) e Sophia mirano a eguagliare la qualità di Adam con meno memoria o una convergenza più rapida. Aspettatevi ottimizzatori adattivi ottimizzati appositamente per l'addestramento distribuito e a bassa precisione per continuare a evolversi.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Adam è il cavallo di ottimizzazione dietro la maggior parte delle reti neurali moderne, che regola automaticamente una velocità di apprendimento separata per ogni parametro. È importante perché rende l'addestramento dei modelli profondi più veloce e molto meno complicato rispetto alla semplice discesa del gradiente.
Adam mantiene una media a decadimento esponenziale dei gradienti (primo momento) e dei gradienti quadrati (secondo momento) per ogni parametro.
Sia m che v sono inizializzati a zero, quindi le prime stime sono distorte; dividendo per (1 - beta^t) si corregge questo problema.
AdamW applica il decadimento del peso direttamente ai pesi anziché mescolarlo nel termine del gradiente adattivo, migliorando la generalizzazione nei trasformatori.
Epsilon (intorno a 1e-8) viene aggiunto al denominatore in modo che i parametri con medie a gradiente quadrato vicine allo zero non causino un'esplosione.
Dividendo per la radice quadrata della media del gradiente quadrato di ciascun parametro, Adam ridimensiona la dimensione del passo per parametro anziché utilizzare un valore globale.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
ZeRO e ottimizzatori frammentati
Tecnico