Il prossimoProssima guida
Pianificazione del tasso di apprendimento
Tecnico
GUIDA TECNICA
I tassi di apprendimento ciclici fanno scorrere ripetutamente il tasso di apprendimento su e giù tra un limite inferiore e uno superiore invece di limitarlo a decadere.
Ascolta questa guidaNarrato dall'IA · ~2 min
This counterintuitive bouncing can speed up convergence and helps the optimizer escape sharp local minima and saddle points.
Proposti da Leslie Smith nel 2015, i tassi di apprendimento ciclico (CLR) mettono in discussione il presupposto secondo cui il tasso dovrebbe solo diminuire. Oscilla invece tra un limite minimo e uno massimo nel corso di un numero fisso di iterazioni (un "ciclo"), spesso con una forma triangolare. L'intuizione: alzare periodicamente la velocità fornisce una sferzata di energia che permette al modello di saltare fuori da minimi scadenti e taglienti e attraversare punti di sella, mentre le fasi basse lo lasciano stabilizzare. Smith ha anche introdotto il "test dell'intervallo LR" - una breve corsa che sposta il tasso verso l'alto osservando la perdita - per trovare automaticamente buoni limiti. La politica triangolare, quella triangolare con decadimento e la famosa politica del ciclo unico si basano tutte su questa idea.
fast.ai ha reso popolare la politica del ciclo unico come impostazione predefinita per addestrare rapidamente i classificatori di immagini ad alta precisione in poche epoche.
Il test della gamma LR aumenta la velocità su alcune centinaia di lotti per scegliere i limiti minimo e massimo prima di una corsa reale.
L'insieme di snapshot salva un checkpoint del modello alla fine di ogni ciclo, producendo un insieme libero da un'esecuzione di training.
La discesa del gradiente stocastico con riavvii a caldo (SGDR) reimposta periodicamente la velocità su un valore elevato per sfuggire a minimi netti.
I programmi ciclici e la politica del ciclo unico rimangono popolari per l'addestramento rapido su compiti visivi e tabulari, e il test della gamma LR è un trucco di regolazione standard. Per modelli linguistici molto ampi, i programmi di riscaldamento più coseno tendono a prevalere, ma l’intuizione di fondo – che gli aumenti strategici aiutano a sfuggire alle regioni negative del panorama delle perdite – informa i riavvii a caldo (SGDR) e i metodi di insieme che fotografano i modelli al punto più basso di ogni ciclo. Aspettatevi una continua impollinazione incrociata tra idee cicliche e pianificatori adattivi e autoregolanti.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
I tassi di apprendimento ciclici fanno scorrere ripetutamente il tasso di apprendimento su e giù tra un limite inferiore e uno superiore invece di limitarlo a decadere. Questo rimbalzo controintuitivo può accelerare la convergenza e aiutare l’ottimizzatore a sfuggire ai minimi locali e ai punti di sella.
Il CLR aumenta deliberatamente il tasso ancora e ancora, rifiutando la visione tradizionale secondo cui deve decadere solo in modo monotono.
Smith reported improved classification accuracy without tuning and often in fewer iterations on the tested datasets; the paper does not guarantee a specific loss-landscape escape mechanism.
Funziona brevemente con un ritmo in costante aumento; la curva delle perdite rivela un minimo e un massimo sensati da utilizzare per i cicli.
La politica del ciclo unico riduce lo slancio mentre il tasso raggiunge il picco e lo aumenta quando il tasso scende, il che aggiunge un effetto regolarizzante.
A triangular policy increases the rate during one half-cycle and decreases it during the other half.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Pianificazione del tasso di apprendimento
Tecnico