GUIDA AI FONDAMENTALI
Decadimento del peso e regolarizzazione di L2
Il decadimento del peso è una tecnica semplice e potente che spinge il peso di un modello verso lo zero durante l'addestramento, scoraggiandolo dal fare troppo affidamento su una singola caratteristica.
Ascolta questa guidaNarrato dall'IA · ~2 min
In questa pagina2 minuti di lettura
Panoramica
It reduces overfitting and is one of the most widely used regularizers in deep learning.
Immersione profonda
Quando un modello si allena, può agganciarsi al rumore nei dati sviluppando pesi grandi e ben calibrati che si adattano perfettamente al set di addestramento ma si generalizzano male. La regolarizzazione L2 combatte questo problema aggiungendo una penalità proporzionale alla somma dei pesi al quadrato alla funzione di perdita. L'ottimizzatore ora ha due obiettivi: adattare i dati e mantenere i pesi piccoli, in modo da optare per soluzioni più fluide e robuste. Il decadimento del peso è l'idea strettamente correlata di ridurre ogni peso di una piccola frazione in ogni fase di aggiornamento. Con la semplice discesa del gradiente i due sono matematicamente equivalenti, ma con gli ottimizzatori adattivi come Adam differiscono, motivo per cui AdamW è stato introdotto per disaccoppiare il decadimento dall'aggiornamento basato sul gradiente e farlo funzionare correttamente.
Implementazione nel mondo reale
Aggiunta diweight_decay nell'ottimizzatore AdamW o SGD di PyTorch durante l'addestramento dei classificatori di immagini per limitare l'overfitting
Ottimizzazione del coefficiente lambda nella regressione della cresta, il classico modello lineare penalizzato L2, per stabilizzare le previsioni sulle caratteristiche correlate
Ricette di pre-allenamento con modelli linguistici di grandi dimensioni che impostano un piccolo decadimento del peso (spesso intorno a 0,1) insieme a un programma di velocità di apprendimento
Combinazione del decadimento del peso con l'aumento e l'abbandono dei dati per impedire a un piccolo modello di imaging medico di memorizzare scansioni di addestramento limitate
Il futuro del decadimento del peso e della regolarizzazione della L2
Il decadimento del peso rimane un ingrediente predefinito nelle ricette di addestramento per modelli linguistici di grandi dimensioni e trasformatori di visione, e AdamW è ora l'ottimizzatore standard per loro. La ricerca continua su come il decadimento interagisce con i programmi del tasso di apprendimento, i livelli di normalizzazione e la scala del modello, poiché la sua forza effettiva cambia man mano che i modelli crescono. Aspettatevi una regolazione del decadimento più basata su principi, possibilmente per livello o in base alla pianificazione, man mano che la ricerca automatizzata degli iperparametri e gli studi sulla legge di scala maturano.
Metterlo in pratica
Perché è importante
- Decisioni più chiare. Ti aiuta a separare le chiare affermazioni tecniche dal linguaggio di marketing.
- Costo e budget. Puoi porre domande sull'implementazione migliore prima di spendere denaro o tempo.
- Team e flusso di lavoro. I team con una comprensione condivisa prendono decisioni migliori su prodotti, politiche e apprendimento.
Attenzione
- Team diversi possono utilizzare lo stesso termine in modo diverso, quindi definisci l'ambito in anticipo.
- I benchmark possono sembrare solidi mentre le prestazioni nel mondo reale non sono uniformi.
- Ignorare la qualità dei dati e i piani di valutazione spesso crea risultati fragili.
Prossimi passi
- Inizia con una definizione in linguaggio semplice del risultato di cui hai bisogno.
- Scegli una metrica di successo e una condizione di fallimento prima del test.
- Esegui un piccolo progetto pilota con dati rappresentativi, non un set demo raffinato.
- Documenta dove il decadimento del peso e la regolarizzazione L2 aiutano e dove i metodi più semplici sono migliori.
Continua a esplorare
Newsletter gratuita
Ricevi il briefing quotidiano sull'IA
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Take the Weight Decay and L2 Regularization quiz
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Domande frequenti
What is Weight Decay and L2 Regularization?
Il decadimento del peso è una tecnica semplice e potente che spinge il peso di un modello verso lo zero durante l'addestramento, scoraggiandolo dal fare troppo affidamento su una singola caratteristica. Riduce l'overfitting ed è uno dei regolatori più utilizzati nel deep learning.
Cosa aggiunge la regolarizzazione L2 alla funzione di perdita?
La regolarizzazione L2 aggiunge lambda volte la somma dei pesi al quadrato, penalizzando i pesi grandi e incoraggiando soluzioni più piccole e più uniformi.
Qual è il problema principale che il calo ponderale aiuta a prevenire?
Mantenendo i pesi piccoli, il decadimento del peso scoraggia il modello dall'adattamento del rumore, migliorando la generalizzazione a nuovi dati.
In quale direzione il decadimento del peso spinge i pesi del modello?
Il decadimento del peso riduce i pesi verso lo zero ad ogni aggiornamento, motivo per cui a volte viene descritto come "decadimento" dei pesi.
Perché è stato introdotto AdamW?
In Adam, ripiegare L2 nella perdita interagisce male con il ridimensionamento per parametro; AdamW applica il decadimento separatamente per ripristinare il ritiro uniforme previsto.
Per la semplice discesa del gradiente stocastico, come si relazionano la regolarizzazione di L2 e il decadimento del peso?
Con il semplice SGD, l’aggiunta di una penalità L2 alla perdita produce lo stesso aggiornamento della riduzione diretta dei pesi, quindi i due sono equivalenti.
Continua a imparare
Guide correlate
Altre guide selezionate per questo argomento