概述
它们一起使深层变形金刚无需热身技巧即可稳定训练。
深入探讨
Standard LayerNorm 减去平均值并除以特征向量的标准差，然后应用学习到的缩放和偏移。张和 Sennrich 在 2019 年提出的 RMSNorm 完全放弃了均值中心化和偏差：它只是将每个向量除以其元素的均方根，然后乘以学习的每个特征增益。这消除了一项统计数据和多项操作，在标准层中将计算量减少了大约 10-50%，同时匹配了准确性。另外，“Pre-LN”放置（注意力/MLP 之前的范数，周围有干净的残差路径）在初始化时保持梯度幅度有界，因此像 GPT-3、LLaMA 和 PaLM 这样的模型在训练时无需进行原始 Post-LN 变压器所需的学习率预热黑客攻击。
现实世界的实施
LLaMA、Mistral 和 Qwen 均用 RMSNorm 替换 LayerNorm，以减少每个令牌的推理延迟
Pre-LN 允许 GPT 式模型进行训练，无需 2017 年 Post-LN 变压器所需的学习率预热
QK 标准化在注意力查询和键上使用 RMSNorm 来阻止大型模型中的 logits 爆炸
移动和边缘变压器采用 RMSNorm，因为降低均值和偏差会减少内存流量
RMSNorm 和预层标准化的未来
RMSNorm 现在是大多数开放权重 LLM（LLaMA、Mistral、Qwen、Gemma）的默认值，因此预计它会保持标准状态。研究正在完善配方：QK-norm 将 RMSNorm 应用于注意力查询和控制 logit 增长的关键，一些实验室将前范数和后范数（“三明治”或“peri-LN”）结合起来，以实现万亿参数规模的额外稳定性。硬件内核不断融合操作以提高速度。
付诸实践
为什么这很重要
- 成本与预算. 多年来，架构决策决定着性能和运营成本。
- 更清晰的判决. 技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
- 质量控制. 更好的工程选择可以减少生产中的可靠性事故。
留意
- 优化一项基准测试可以隐藏更广泛的系统弱点。
- 基础设施和维护成本常常被低估。
- 随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
后续步骤
- 在实施之前定义延迟、质量和成本目标。
- 在实际负载和数据条件下进行基准测试。
- 仪器监控错误、漂移和用户影响。
- 在扩展之前准备回滚和事件响应路径。
不断探索
常见问题
什么是 RMSNorm 和预层标准化？
RMSNorm 是一个轻量级归一化层，它通过均方根重新调整激活值，并且预层归一化将该步骤放置在每个子层之前而不是之后。它们一起使深层变形金刚无需热身技巧即可稳定训练。
与标准 LayerNorm 相比，RMSNorm 省略了什么？
RMSNorm 跳过计算和减去均值，仅通过激活的均方根进行归一化。
RMSNorm 将每个激活向量除以什么数量？
RMSNorm 除以平方元素均值的 sqrt（即均方根），然后应用学习增益。
Pre-LN 在深度 Transformer 初始化时支持什么梯度行为？
熊等人。分析梯度行为并显示 Pre-LN 梯度在初始化时表现更好；这并不能保证每次设置都无需热身训练。
在 Pre-LN 块中，归一化层故意保持不变的路径是什么？
Pre-LN 将输入归一化到子层，但剩余捷径绕过它，保留了干净的梯度高速公路。
哪些现代开放权重模型系列默认使用 RMSNorm？
RMSNorm 成为 LLaMA、Mistral、Qwen、Gemma 和最近的法学硕士的标准标准化。