Il prossimoProssima guida
Come sconfiggere il jet lag con un programma basato sull'intelligenza artificiale
Applicazioni
GUIDA TECNICA
Il riscaldamento aumenta delicatamente la velocità di apprendimento da quasi zero prima dell'allenamento, quindi la ricottura del coseno la fa decadere gradualmente seguendo una curva coseno.
Ascolta questa guidaNarrato dall'IA · ~2 min
Insieme stabilizzano l'addestramento precoce e producono una migliore precisione finale, motivo per cui quasi tutti i trasformatori moderni sono addestrati in questo modo.
Quando inizia l'addestramento, i pesi del modello sono casuali e i gradienti possono essere enormi, quindi passare direttamente a un tasso di apprendimento elevato spesso causa picchi di perdita o divergenze, soprattutto con ottimizzatori adattivi come Adam, le cui stime della varianza sono inaffidabili nei primi passaggi. Il riscaldamento risolve questo problema aumentando linearmente la velocità da poche centinaia a poche migliaia di passi. Una volta che il modello è su basi stabili, subentra la ricottura del coseno, che fa diminuire la velocità di 0,5 * (1 + cos(pi * t / T)) del suo picco. La forma del coseno mantiene la velocità elevata all'inizio per un rapido progresso, quindi diminuisce gradualmente in modo che l'ottimizzatore possa stabilizzarsi su un buon minimo invece di rimbalzare attorno ad esso.
I modelli linguistici in stile GPT e BERT utilizzano un riscaldamento lineare nel primo ~1-2% dei passaggi seguito dal decadimento del coseno fino a quasi zero.
I trasformatori di visione (ViT) si addestrano con la ricottura del coseno e un breve riscaldamento per evitare divergenze premature su ImageNet.
Hugging Face Transformers offre "get_cosine_schedule_with_warmup" come pianificatore a una riga per la messa a punto dei lavori.
La diffusione stabile e altri modelli di diffusione si ottimizzano con il riscaldamento per prevenire esplosioni del gradiente quando si adattano i pesi preaddestrati.
Riscaldamento più coseno rimane la ricetta predefinita per i modelli linguistici di grandi dimensioni, ma le varianti si stanno diffondendo. Il decadimento stabile al riscaldamento (WSD) mantiene una velocità costante per poi decade bruscamente alla fine, rendendo facile estendere le corse senza impegnarsi nuovamente su una lunghezza fissa. I ricercatori stanno anche studiando il motivo per cui il riscaldamento funziona, collegandolo al rumore del gradiente e alla curvatura del paesaggio di perdita, e gli strumenti regolano sempre più automaticamente la durata del riscaldamento e la frequenza di picco, riducendo i tentativi ed errori manuali che dominano oggi.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Il riscaldamento aumenta delicatamente la velocità di apprendimento da quasi zero prima dell'allenamento, quindi la ricottura del coseno la fa decadere gradualmente seguendo una curva coseno. Insieme stabilizzano l'addestramento iniziale e garantiscono una migliore precisione finale, motivo per cui quasi tutti i trasformatori moderni vengono addestrati in questo modo.
Iniziare con un elevato tasso di apprendimento su pesi casuali può causare picchi di perdite o divergenze, quindi il riscaldamento aumenta gradualmente la velocità per mantenere stabili i primi passi.
Il tasso viene scalato di 0,5 * (1 + cos(pi * t / T)), producendo una collina liscia che rimane alta all'inizio e scivola vicino allo zero alla fine.
Le stime della varianza in esecuzione di Adam si basano su pochissimi campioni nei primi passaggi, rendendo la dimensione del passo effettiva irregolare: il riscaldamento mitiga questo problema.
T è l'orizzonte sul quale il tasso decade dal suo picco fino a quasi zero; t è il passo attuale all'interno di quell'orizzonte.
La guida descrive un breve riscaldamento lineare seguito dalla ricottura del coseno.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Come sconfiggere il jet lag con un programma basato sull'intelligenza artificiale
Applicazioni