Il prossimoProssima guida
RMSNorm e normalizzazione pre-strato
Tecnico
GUIDA TECNICA
La normalizzazione dei livelli stabilizza l'addestramento ridimensionando le attivazioni all'interno di ogni singolo esempio in modo che abbiano media e varianza unitaria pari a zero.
Ascolta questa guidaNarrato dall'IA · ~2 min
È un ingrediente silenzioso ma essenziale che rende allenabili i trasformatori profondi.
Introdotta da Ba, Kiros e Hinton nel 2016, la normalizzazione dei livelli (LayerNorm) affronta il problema che le attivazioni all'interno di una rete profonda possono spostarsi su scale molto diverse mentre i segnali passano attraverso molti livelli, rallentando o destabilizzando l'apprendimento. A differenza della normalizzazione batch, che normalizza ciascuna funzionalità negli esempi in un mini-batch, LayerNorm normalizza le funzionalità di un singolo esempio. Ciò lo rende indipendente dalle dimensioni del batch e ugualmente utilizzabile durante l'addestramento e l'inferenza, e funziona naturalmente con sequenze di lunghezza variabile, motivo per cui è diventato lo standard per i trasformatori che alimentano i moderni modelli linguistici. Dopo la normalizzazione, applica una scala apprendibile (gamma) e uno spostamento (beta) in modo che la rete possa recuperare qualsiasi rappresentazione di cui ha bisogno.
Stabilizzare ogni blocco del trasformatore in modelli linguistici come GPT e BERT.
Abilitazione di RMSNorm come scelta di normalizzazione più leggera all'interno dei modelli della famiglia Llama.
Normalizzazione dei dati di sequenze a lunghezza variabile nei modelli vocali e di traduzione in cui le dimensioni dei batch differiscono.
Consentire un addestramento affidabile con una dimensione batch pari a uno, come in alcune configurazioni di apprendimento per rinforzo.
La normalizzazione viene semplificata per garantire efficienza su larga scala. RMSNorm ha ampiamente sostituito LayerNorm nei nuovi modelli di linguaggi di grandi dimensioni perché è più economico e funziona altrettanto bene, e il posizionamento pre-norma è ora l'impostazione predefinita per stack molto profondi. I ricercatori continuano a esplorare architetture prive di normalizzazione che utilizzano invece un'inizializzazione attenta o trucchi di ridimensionamento, con l'obiettivo di ridurre i costi generali mantenendo la stabilità di addestramento fornita dalla normalizzazione.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
La normalizzazione dei livelli stabilizza l'addestramento ridimensionando le attivazioni all'interno di ogni singolo esempio in modo che abbiano media e varianza unitaria pari a zero. È un ingrediente silenzioso ma essenziale che rende allenabili i trasformatori profondi.
LayerNorm normalizza le dimensioni delle caratteristiche di un singolo campione, rendendolo indipendente dagli altri esempi nel batch.
Poiché le sue statistiche provengono da un singolo esempio, LayerNorm si comporta in modo coerente indipendentemente dalle dimensioni del batch e si adatta a sequenze di testo di lunghezza variabile.
Dopo la normalizzazione su media e varianza unitaria pari a zero, gamma scala e beta spostano il risultato in modo che il modello non sia forzato in una distribuzione fissa.
RMSNorm omette il passaggio di centratura della media e scala in base al valore quadratico medio delle attivazioni, che è più economico e utilizzato in modelli come Llama.
Quando i segnali attraversano molti strati, la loro scala può espandersi o ridursi; la normalizzazione mantiene le attivazioni in un intervallo stabile in modo che i gradienti si comportino bene.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
RMSNorm e normalizzazione pre-strato
Tecnico