テクニカルガイド
RMSNorm と前層正規化
RMSNorm は、アクティベーションを二乗平均平方根によって再スケーリングする軽量の正規化レイヤーであり、レイヤー前の正規化により、各サブレイヤーの後ではなく前にステップが配置されます。
このガイドを聴くAIによるナレーション · ~2 min
概要
Together they make deep transformers train stably without warmup tricks.
ディープダイブ
Standard LayerNorm は、特徴ベクトル全体で平均を減算し、標準偏差で除算し、学習されたスケールとシフトを適用します。 2019 年に Zhang と Sennrich によって導入された RMSNorm は、平均中心化とバイアスを完全に削除します。各ベクトルをその要素の二乗平均平方根で除算し、学習された特徴ごとのゲインを乗算するだけです。これにより、1 つの統計といくつかの操作が削除され、精度を照合しながら標準層の計算量が約 10 ～ 50% 削減されます。これとは別に、「Pre-LN」配置 (周囲にクリーンな残差パスを持つアテンション/MLP の前のノルム) により、初期化時に勾配の大きさが制限されるため、GPT-3、LLaMA、PaLM などのモデルは、元の Post-LN トランスフォーマーが必要とした学習率のウォームアップ ハックなしでトレーニングできます。
現実世界の実装
LLaMA、Mistral、Qwen はすべて、LayerNorm を RMSNorm に置き換えて、すべてのトークンの推論遅延を削減します。
Pre-LN により、2017 Post-LN トランスフォーマーで必要だった学習率のウォームアップなしで GPT スタイルのモデルをトレーニングできるようになります
QK 正規化では、アテンション クエリとキーに対して RMSNorm を使用して、大規模なモデルでのロジットの爆発を防ぎます。
平均値とバイアスの削除によりメモリ トラフィックが削減されるため、モバイルおよびエッジ トランスフォーマーは RMSNorm を採用します。
RMSNorm とプレレイヤー正規化の将来
RMSNorm は現在、ほとんどのオープンウェイト LLM (LLaMA、Mistral、Qwen、Gemma) のデフォルトとなっているため、今後も標準のままになることが予想されます。研究はレシピを改良しています。QK ノルムは、ロジットの成長を抑えるためのアテンション クエリとキーに RMSNorm を適用しており、一部の研究室では、兆パラメータ スケールでの安定性を高めるために、プレノームとポストノーム (「サンドイッチ」または「ペリ LN」) を組み合わせています。ハードウェア カーネルは、速度を高めるために操作を融合し続けます。
実践する
なぜそれが重要なのか
- 費用と予算. アーキテクチャの決定により、パフォーマンスと運用コストが何年にもわたって推進されます。
- より明確な判決. 技術教育は、チームが最新のスタックだけでなく、適切なスタックを選択するのに役立ちます。
- 品質管理. より良いエンジニアリングの選択により、本番環境での信頼性に関するインシデントが減少します。
気をつけてください
- 1 つのベンチマークを最適化すると、より広範なシステムの弱点が隠れる可能性があります。
- インフラストラクチャとメンテナンスのコストは過小評価されがちです。
- システムが複雑になるにつれて、セキュリティと可観測性のギャップが拡大する可能性があります。
次のステップ
- 実装前にレイテンシ、品質、コストの目標を定義します。
- 現実的な負荷とデータ条件でのベンチマーク。
- エラー、ドリフト、ユーザーへの影響を計測器で監視します。
- スケーリングの前に、ロールバックとインシデント対応のパスを準備します。
探検を続けましょう
よくある質問
What is RMSNorm and Pre-Layer Normalization?
RMSNorm は、アクティベーションを二乗平均平方根によって再スケーリングする軽量の正規化レイヤーであり、レイヤー前の正規化により、各サブレイヤーの後ではなく前にステップが配置されます。これらを組み合わせることで、ウォームアップのトリックなしでディープトランスフォーマーを安定してトレーニングできます。
標準の LayerNorm と比較して、RMSNorm では何が省略されますか?
RMSNorm は平均の計算と減算をスキップし、アクティベーションの二乗平均平方根によってのみ正規化します。
RMSNorm は各活性化ベクトルをどの量で分割しますか?
RMSNorm は、二乗要素の平均の sqrt、つまり二乗平均平方根で除算し、学習されたゲインを適用します。
What gradient behavior does Pre-LN support at initialization in deep Transformers?
Xiong et al. analyze gradient behavior and show Pre-LN gradients are better behaved at initialization; this does not guarantee warmup-free training for every setup.
Pre-LN ブロックでは、正規化層が意図的に手つかずのままにしているパスは何ですか?
Pre-LN はサブレイヤーへの入力を正規化しますが、残りのショートカットはそれをバイパスし、きれいな勾配ハイウェイを維持します。
デフォルトで RMSNorm を使用する最新のオープンウェイト モデル ファミリはどれですか?
RMSNorm は、LLaMA、Mistral、Qwen、Gemma、および最新の LLM の標準正規化になりました。