GUIDA AI FONDAMENTALI

Decadimento del peso e regolarizzazione di L2

Il decadimento del peso è una tecnica semplice e potente che spinge il peso di un modello verso lo zero durante l'addestramento, scoraggiandolo dal fare troppo affidamento su una singola caratteristica.

Ascolta questa guidaNarrato dall'IA · ~2 min

In questa pagina2 minuti di lettura
  1. Panoramica
  2. Immersione profonda
  3. Implementazione nel mondo reale
  4. Il futuro del decadimento del peso e della regolarizzazione della L2
  5. Metterlo in pratica
  6. Continua a esplorare
  7. Domande frequenti

Panoramica

It reduces overfitting and is one of the most widely used regularizers in deep learning.

Immersione profonda

Quando un modello si allena, può agganciarsi al rumore nei dati sviluppando pesi grandi e ben calibrati che si adattano perfettamente al set di addestramento ma si generalizzano male. La regolarizzazione L2 combatte questo problema aggiungendo una penalità proporzionale alla somma dei pesi al quadrato alla funzione di perdita. L'ottimizzatore ora ha due obiettivi: adattare i dati e mantenere i pesi piccoli, in modo da optare per soluzioni più fluide e robuste. Il decadimento del peso è l'idea strettamente correlata di ridurre ogni peso di una piccola frazione in ogni fase di aggiornamento. Con la semplice discesa del gradiente i due sono matematicamente equivalenti, ma con gli ottimizzatori adattivi come Adam differiscono, motivo per cui AdamW è stato introdotto per disaccoppiare il decadimento dall'aggiornamento basato sul gradiente e farlo funzionare correttamente.

Implementazione nel mondo reale

Aggiunta diweight_decay nell'ottimizzatore AdamW o SGD di PyTorch durante l'addestramento dei classificatori di immagini per limitare l'overfitting

Ottimizzazione del coefficiente lambda nella regressione della cresta, il classico modello lineare penalizzato L2, per stabilizzare le previsioni sulle caratteristiche correlate

Ricette di pre-allenamento con modelli linguistici di grandi dimensioni che impostano un piccolo decadimento del peso (spesso intorno a 0,1) insieme a un programma di velocità di apprendimento

Combinazione del decadimento del peso con l'aumento e l'abbandono dei dati per impedire a un piccolo modello di imaging medico di memorizzare scansioni di addestramento limitate

Il futuro del decadimento del peso e della regolarizzazione della L2

Il decadimento del peso rimane un ingrediente predefinito nelle ricette di addestramento per modelli linguistici di grandi dimensioni e trasformatori di visione, e AdamW è ora l'ottimizzatore standard per loro. La ricerca continua su come il decadimento interagisce con i programmi del tasso di apprendimento, i livelli di normalizzazione e la scala del modello, poiché la sua forza effettiva cambia man mano che i modelli crescono. Aspettatevi una regolazione del decadimento più basata su principi, possibilmente per livello o in base alla pianificazione, man mano che la ricerca automatizzata degli iperparametri e gli studi sulla legge di scala maturano.

Metterlo in pratica

Perché è importante

  • Decisioni più chiare. Ti aiuta a separare le chiare affermazioni tecniche dal linguaggio di marketing.
  • Costo e budget. Puoi porre domande sull'implementazione migliore prima di spendere denaro o tempo.
  • Team e flusso di lavoro. I team con una comprensione condivisa prendono decisioni migliori su prodotti, politiche e apprendimento.

Attenzione

  • Team diversi possono utilizzare lo stesso termine in modo diverso, quindi definisci l'ambito in anticipo.
  • I benchmark possono sembrare solidi mentre le prestazioni nel mondo reale non sono uniformi.
  • Ignorare la qualità dei dati e i piani di valutazione spesso crea risultati fragili.

Prossimi passi

  1. Inizia con una definizione in linguaggio semplice del risultato di cui hai bisogno.
  2. Scegli una metrica di successo e una condizione di fallimento prima del test.
  3. Esegui un piccolo progetto pilota con dati rappresentativi, non un set demo raffinato.
  4. Documenta dove il decadimento del peso e la regolarizzazione L2 aiutano e dove i metodi più semplici sono migliori.

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Take the Weight Decay and L2 Regularization quiz

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

What is Weight Decay and L2 Regularization?

Il decadimento del peso è una tecnica semplice e potente che spinge il peso di un modello verso lo zero durante l'addestramento, scoraggiandolo dal fare troppo affidamento su una singola caratteristica. Riduce l'overfitting ed è uno dei regolatori più utilizzati nel deep learning.

Cosa aggiunge la regolarizzazione L2 alla funzione di perdita?

La regolarizzazione L2 aggiunge lambda volte la somma dei pesi al quadrato, penalizzando i pesi grandi e incoraggiando soluzioni più piccole e più uniformi.

Qual è il problema principale che il calo ponderale aiuta a prevenire?

Mantenendo i pesi piccoli, il decadimento del peso scoraggia il modello dall'adattamento del rumore, migliorando la generalizzazione a nuovi dati.

In quale direzione il decadimento del peso spinge i pesi del modello?

Il decadimento del peso riduce i pesi verso lo zero ad ogni aggiornamento, motivo per cui a volte viene descritto come "decadimento" dei pesi.

Perché è stato introdotto AdamW?

In Adam, ripiegare L2 nella perdita interagisce male con il ridimensionamento per parametro; AdamW applica il decadimento separatamente per ripristinare il ritiro uniforme previsto.

Per la semplice discesa del gradiente stocastico, come si relazionano la regolarizzazione di L2 e il decadimento del peso?

Con il semplice SGD, l’aggiunta di una penalità L2 alla perdita produce lo stesso aggiornamento della riduzione diretta dei pesi, quindi i due sono equivalenti.