Il prossimoProssima guida
Tassi di apprendimento ciclico
Tecnico
GUIDA TECNICA
Una pianificazione della velocità di apprendimento modifica la dimensione del passo durante l'allenamento invece di mantenerla fissa.
Ascolta questa guidaNarrato dall'IA · ~2 min
Farlo bene è spesso il fattore più importante per far sì che un modello converga rapidamente e raggiunga un'elevata precisione.
La velocità di apprendimento controlla l'entità del passo compiuto dall'ottimizzatore per ogni aggiornamento. Troppo alto e la formazione diverge; troppo basso e striscia o si blocca. La pianificazione modifica questo valore nel tempo. Una ricetta moderna comune è il riscaldamento seguito dal decadimento: iniziare vicino allo zero e aumentare nelle prime centinaia o migliaia di passi (così presto, i gradienti rumorosi non fanno esplodere pesi instabili), quindi diminuire gradualmente. Le forme di decadimento più diffuse includono il decadimento a gradini (calo di un fattore in epoche prestabilite), il decadimento esponenziale e la ricottura del coseno, che segue dolcemente una curva semicoseno fino quasi allo zero. I programmi coseno con riscaldamento lineare sono ora standard per l’addestramento di modelli linguistici di grandi dimensioni, mentre le politiche cicliche e a ciclo unico possono accelerare l’addestramento di modelli più piccoli.
Riscaldamento lineare più decadimento del coseno utilizzati durante il preaddestramento dei modelli linguistici del trasformatore.
Decadimento graduale che riduce la velocità di apprendimento di 10 volte alle epoche 30, 60 e 90 durante l'addestramento dei classificatori di immagini su ImageNet.
La politica a ciclo unico in fast.ai consente di addestrare un modello con una buona precisione in pochissime epoche.
Ricottura del coseno con riavvii a caldo per sfuggire periodicamente ai minimi di perdita taglienti e migliorare la generalizzazione.
Poiché i cicli di formazione diventano sempre più costosi, le pianificazioni vengono progettate in collaborazione con ottimizzatori e dimensioni dei batch, e i ricercatori studiano le leggi di dimensionamento per prevedere la migliore frequenza di picco prima della formazione. Gli ottimizzatori senza pianificazione che eliminano la necessità di scegliere una curva di decadimento in anticipo stanno guadagnando terreno, e i programmi adattivi e guidati dal feedback che rispondono alle curve di perdita di tempo reale possono ridurre il processo di tentativi ed errori che ancora domina la formazione su larga scala.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Una pianificazione della velocità di apprendimento modifica la dimensione del passo durante l'allenamento invece di mantenerla fissa. Farlo bene è spesso il fattore più importante per far sì che un modello converga rapidamente e raggiunga un'elevata precisione.
Il riscaldamento inizia vicino allo zero e aumenta la velocità in modo che i primi aggiornamenti instabili non destabilizzino il modello prima che le statistiche dell'ottimizzatore si stabilizzino.
La ricottura del coseno decade la velocità di apprendimento lungo una forma a semicoseno, dando grandi passi all'inizio e piccoli passi verso la fine.
Un tasso eccessivamente alto provoca un superamento, quindi la perdita potrebbe rimbalzare o esplodere anziché stabilizzarsi.
Il decadimento del passo moltiplica la velocità per un fattore (ad esempio, 0,1) in corrispondenza delle tappe fondamentali scelte, creando uno schema a scala.
Warm restarts begin another learning-rate cycle at a higher value; they do not guarantee escape from a particular loss-landscape feature.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Tassi di apprendimento ciclico
Tecnico