概述
它們共同使深度 Transformer 在沒有預熱技巧的情況下也能穩定訓練。
深入探討
Standard LayerNorm 減去平均值並除以特徵向量的標準差,然後應用學習到的縮放和移位。張和 Sennrich 在 2019 年提出的 RMSNorm 完全放棄了均值中心化和偏差:它只是將每個向量除以其元素的均方根,然後乘以學習的每個特徵增益。這消除了一項統計數據和多項操作,在標準層中將計算量減少了大約 10-50%,同時匹配了準確性。另外,「Pre-LN」放置(注意力/MLP 之前的範數,周圍有乾淨的殘差路徑)在初始化時保持梯度幅度有界,因此像 GPT-3、LLaMA 和 PaLM 這樣的模型在訓練時無需進行原始 Post-LN 變壓器所需的學習率預熱駭客攻擊。
現實世界的實施
LLaMA、Mistral 和 Qwen 均以 RMSNorm 取代 LayerNorm,以減少每個令牌的推理延遲
Pre-LN 允許 GPT 式模型進行訓練,無需 2017 年 Post-LN 變壓器所需的學習率預熱
QK 標準化在註意力查詢和鍵上使用 RMSNorm 來阻止大型模型中的 logits 爆炸
行動和邊緣變壓器採用 RMSNorm,因為降低平均值和偏差會減少記憶體流量
RMSNorm 與預層標準化的未來
RMSNorm 現在是大多數開放權重 LLM(LLaMA、Mistral、Qwen、Gemma)的預設值,因此預計它會保持標準狀態。研究正在完善配方:QK-norm 將 RMSNorm 應用於注意力查詢和控制 logit 成長的關鍵,一些實驗室將前範數和後範數(「三明治」或「peri-LN」)結合起來,以實現萬億參數規模的額外穩定性。硬體核心不斷融合操作以提高速度。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是 RMSNorm 和 Pre-Layer Normalization?
RMSNorm 是一個輕量級歸一化層,它透過均方根重新調整活化值,並且預層歸一化將該步驟放置在每個子層之前而不是之後。它們一起使深層變形金剛無需熱身技巧即可穩定訓練。
與標準 LayerNorm 相比,RMSNorm 省略了什麼?
RMSNorm 跳過計算和減去平均值,僅透過活化的均方根進行歸一化。
RMSNorm 將每個激活向量除以什麼數量?
RMSNorm 除以平方元素平均值的 sqrt(即均方根),然後套用學習增益。
Pre-LN 在深度 Transformer 初始化時支援什麼樣的梯度行為?
Xiong 等人分析了梯度行為,並表明 Pre-LN 梯度在初始化時表現更好;這並不能保證在所有設置下都能進行無需預熱的訓練。
在 Pre-LN 區塊中,歸一化層故意保持不變的路徑是什麼?
Pre-LN 將輸入歸一化到子層,但剩餘捷徑繞過它,保留了乾淨的梯度高速公路。
哪些現代開放權重模型系列預設使用 RMSNorm?
RMSNorm 成為 LLaMA、Mistral、Qwen、Gemma 和最近的法學碩士的標準標準化。