Il prossimoProssima guida
Normalizzazione dei livelli
Tecnico
GUIDA TECNICA
RMSNorm è un livello di normalizzazione leggero che ridimensiona le attivazioni in base alla loro radice quadrata media e la normalizzazione pre-livello posiziona quel passaggio prima di ciascun sottolivello anziché dopo.
Ascolta questa guidaNarrato dall'IA · ~2 min
Together they make deep transformers train stably without warmup tricks.
Standard LayerNorm sottrae la media e divide per la deviazione standard su un vettore di caratteristiche, quindi applica una scala e uno spostamento appresi. RMSNorm, introdotto da Zhang e Sennrich nel 2019, elimina completamente la centratura della media e il bias: divide semplicemente ogni vettore per la radice quadrata dei suoi elementi e moltiplica per un guadagno per caratteristica appreso. Ciò rimuove una statistica e diverse operazioni, riducendo il calcolo di circa il 10-50% nel livello normativo mantenendo la precisione. Separatamente, il posizionamento "Pre-LN" (norma prima dell'attenzione/MLP, con un percorso residuo pulito attorno ad essa) mantiene le magnitudini del gradiente limitate al momento dell'inizializzazione, quindi modelli come GPT-3, LLaMA e PaLM si addestrano senza hack di riscaldamento della velocità di apprendimento richiesti dal trasformatore Post-LN originale.
LLaMA, Mistral e Qwen sostituiscono LayerNorm con RMSNorm per ridurre la latenza di inferenza su ogni token
Pre-LN consente l'addestramento dei modelli in stile GPT senza il riscaldamento della velocità di apprendimento necessario per il trasformatore Post-LN del 2017
La normalizzazione QK utilizza RMSNorm su query e chiavi di attenzione per impedire l'esplosione dei logit in modelli di grandi dimensioni
I trasformatori mobili ed edge adottano RMSNorm perché l'eliminazione della media e del bias riduce il traffico di memoria
RMSNorm è ora l'impostazione predefinita nella maggior parte degli LLM a peso aperto (LLaMA, Mistral, Qwen, Gemma), quindi aspettati che rimanga standard. La ricerca sta perfezionando la ricetta: QK-norm applica RMSNorm alle query di attenzione e alle chiavi per domare la crescita dei logit, e alcuni laboratori combinano pre e post-norma ("sandwich" o "peri-LN") per una maggiore stabilità su scala di trilioni di parametri. I kernel hardware continuano a fondere le operazioni per la velocità.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
RMSNorm è un livello di normalizzazione leggero che ridimensiona le attivazioni in base alla loro radice quadrata media e la normalizzazione pre-livello posiziona quel passaggio prima di ciascun sottolivello anziché dopo. Insieme fanno sì che i trasformatori profondi si allenino stabilmente senza trucchi di riscaldamento.
RMSNorm salta il calcolo e la sottrazione della media, normalizzando solo in base alla radice quadrata media delle attivazioni.
RMSNorm divide per sqrt della media degli elementi al quadrato, ovvero la radice quadrata media, quindi applica un guadagno appreso.
Xiong et al. analyze gradient behavior and show Pre-LN gradients are better behaved at initialization; this does not guarantee warmup-free training for every setup.
Pre-LN normalizza l'input in un sottolivello ma il collegamento residuo lo ignora, preservando un'autostrada con gradiente pulito.
RMSNorm è diventata la normalizzazione standard in LLaMA, Mistral, Qwen, Gemma e nei LLM più recenti.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Normalizzazione dei livelli
Tecnico