Il prossimoProssima guida
L’intelligenza artificiale nel preallarme per i terremoti
Applicazioni
GUIDA AI FONDAMENTALI
L'arresto precoce utilizza una metrica di validazione per decidere quando fermare un'esecuzione di addestramento.
Ascolta questa guidaNarrato dall'IA · ~2 min
Una regola di pazienza può tollerare plateau temporanei o rumore, mentre il checkpoint migliore viene conservato; il suo effetto sulla generalizzazione dipende dalla metrica, dai dati e dalla configurazione dell'addestramento.
La perdita di addestramento può continuare a diminuire mentre le prestazioni di validazione si stabilizzano o peggiorano, il che può indicare overfitting. Una regola di arresto precoce monitora una metrica di validazione selezionata e si ferma dopo un numero configurato di controlli senza un miglioramento qualificante. L'impostazione di pazienza consente plateau temporanei; min_delta può specificare la variazione minima che conta come miglioramento. Le implementazioni differiscono su quando effettuano il controllo e se ripristinano automaticamente i pesi migliori, quindi verifica il comportamento del callback e salva o ripristina il checkpoint desiderato. Le curve di validazione mostrano spesso—ma non sempre—un miglioramento iniziale seguito da un plateau o un declino. L'arresto precoce può agire come regolarizzazione limitando il tempo di ottimizzazione, ma non garantisce un errore di test più basso; i dati di validazione dovrebbero essere tenuti separati dalla valutazione finale del test.
Una richiamata Keras EarlyStopping con pazienza=10 monitoraggio val_loss e Restore_best_weights=True su un classificatore di immagini
Arresto di un albero con gradiente potenziato (XGBoost early_stopping_rounds) quando la convalida dell'AUC si stabilizza per evitare di aggiungere alberi inutili
Interruzione della messa a punto di un modello di sentiment BERT una volta che la convalida F1 smette di aumentare, risparmiando ore GPU
Un concorrente di Kaggle che utilizza una piega di convalida per fermarsi anticipatamente e scegliere il checkpoint con la perdita di log più bassa
L’interruzione anticipata rimane un’impostazione predefinita in quasi ogni percorso formativo, ma il suo ruolo sta cambiando. Con modelli molto grandi addestrati per una singola epoca su corpora massicci, il classico arresto basato sull’epoca viene sostituito dal monitoraggio su budget simbolici e programmi di tasso di apprendimento. Aspettatevi un'integrazione più stretta con la ricerca automatizzata degli iperparametri, criteri multimetrici e pianificatori attenti al budget che decidono quando la formazione continua non giustifica più i costi di calcolo e di carbonio.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Early stopping utilizza una metrica di validazione per decidere quando interrompere un run di training. Una regola di pazienza può tollerare plateau temporanei o rumore, mentre il miglior checkpoint viene mantenuto; il suo effetto sulla generalizzazione dipende dalla metrica, dai dati e dalla configurazione di training.
L'arresto anticipato monitora una metrica di validazione mantenuta, poiché la perdita di addestramento continua a diminuire anche se il modello si adatta eccessivamente.
La pazienza è il numero di epoche consentite senza alcun miglioramento prima che l'addestramento venga interrotto, attenuando le curve di validazione rumorose.
Ripristina il checkpoint dall'epoca con il miglior punteggio di convalida, non dall'ultima epoca, che potrebbe essere già stata superata.
L'arresto basato sul comportamento di validazione può limitare l'adattamento continuo, ma non è identico all'aggiunta di una penalità L2 e non garantisce un miglioramento delle prestazioni sul test.
min_delta imposta quanto deve essere grande il miglioramento per azzerare il contatore della pazienza, evitando che piccole fluttuazioni sembrino un vero progresso.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
L’intelligenza artificiale nel preallarme per i terremoti
Applicazioni