技術指南

RMSNorm 和預層標準化

RMSNorm 是一個輕量級歸一化層,它透過均方根重新調整活化值,並且預層歸一化將該步驟放置在每個子層之前而不是之後。

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. RMSNorm 與預層標準化的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

它們共同使深度 Transformer 在沒有預熱技巧的情況下也能穩定訓練。

深入探討

Standard LayerNorm 減去平均值並除以特徵向量的標準差,然後應用學習到的縮放和移位。張和 Sennrich 在 2019 年提出的 RMSNorm 完全放棄了均值中心化和偏差:它只是將每個向量除以其元素的均方根,然後乘以學習的每個特徵增益。這消除了一項統計數據和多項操作,在標準層中將計算量減少了大約 10-50%,同時匹配了準確性。另外,「Pre-LN」放置(注意力/MLP 之前的範數,周圍有乾淨的殘差路徑)在初始化時保持梯度幅度有界,因此像 GPT-3、LLaMA 和 PaLM 這樣的模型在訓練時無需進行原始 Post-LN 變壓器所需的學習率預熱駭客攻擊。

現實世界的實施

LLaMA、Mistral 和 Qwen 均以 RMSNorm 取代 LayerNorm,以減少每個令牌的推理延遲

Pre-LN 允許 GPT 式模型進行訓練,無需 2017 年 Post-LN 變壓器所需的學習率預熱

QK 標準化在註意力查詢和鍵上使用 RMSNorm 來阻止大型模型中的 logits 爆炸

行動和邊緣變壓器採用 RMSNorm,因為降低平均值和偏差會減少記憶體流量

RMSNorm 與預層標準化的未來

RMSNorm 現在是大多數開放權重 LLM(LLaMA、Mistral、Qwen、Gemma)的預設值,因此預計它會保持標準狀態。研究正在完善配方:QK-norm 將 RMSNorm 應用於注意力查詢和控制 logit 成長的關鍵,一些實驗室將前範數和後範數(「三明治」或「peri-LN」)結合起來,以實現萬億參數規模的額外穩定性。硬體核心不斷融合操作以提高速度。

付諸實踐

為什麼這很重要

  • 成本與預算. 多年來,架構決策決定著效能和營運成本。
  • 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
  • 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。

留意

  • 優化一項基準測試可以隱藏更廣泛的系統弱點。
  • 基礎設施和維護成本常常被低估。
  • 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。

後續步驟

  1. 在實施之前定義延遲、品質和成本目標。
  2. 在實際負載和資料條件下進行基準測試。
  3. 儀器監控錯誤、漂移和使用者影響。
  4. 在擴展之前準備回滾和事件回應路徑。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加 RMSNorm 和 Pre-Layer Normalization 測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是 RMSNorm 和 Pre-Layer Normalization?

RMSNorm 是一個輕量級歸一化層,它透過均方根重新調整活化值,並且預層歸一化將該步驟放置在每個子層之前而不是之後。它們一起使深層變形金剛無需熱身技巧即可穩定訓練。

與標準 LayerNorm 相比,RMSNorm 省略了什麼?

RMSNorm 跳過計算和減去平均值,僅透過活化的均方根進行歸一化。

RMSNorm 將每個激活向量除以什麼數量?

RMSNorm 除以平方元素平均值的 sqrt(即均方根),然後套用學習增益。

Pre-LN 在深度 Transformer 初始化時支援什麼樣的梯度行為?

Xiong 等人分析了梯度行為,並表明 Pre-LN 梯度在初始化時表現更好;這並不能保證在所有設置下都能進行無需預熱的訓練。

在 Pre-LN 區塊中,歸一化層故意保持不變的路徑是什麼?

Pre-LN 將輸入歸一化到子層,但剩餘捷徑繞過它,保留了乾淨的梯度高速公路。

哪些現代開放權重模型系列預設使用 RMSNorm?

RMSNorm 成為 LLaMA、Mistral、Qwen、Gemma 和最近的法學碩士的標準標準化。