序列并行性和环注意力
序列并行性沿着标记（时间）维度将单个长输入序列拆分到多个 GPU 上，环注意力机制让这些 GPU 通过在环上传递键/值块来计算精确的注意力。
概述
Together they make million-token context windows feasible without any single GPU holding the whole sequence.
深入探讨
标准注意力需要每个查询都能看到每个键/值，因此激活内存随着序列长度而增长，并且完整的 K/V 必须可用。序列并行性对序列进行分片，因此每个 GPU 都拥有一个连续的令牌块（及其查询、键、值）。然后，Ring Attention 将 GPU 排列在逻辑环中：每个设备保持其本地查询固定，同时 K/V 块在环上逐跳传递。当每个块到达时，GPU 计算部分注意力并使用 online-softmax 累积结果（与 FlashAttention 相同的运行 max/sum 技巧）。在完整的循环之后，每个查询都准确地处理了每个键，没有 GPU 存储整个 K/V。至关重要的是，K/V 通信与计算重叠，因此几乎不会增加挂钟成本。
技术洞察
Ring Attention 依赖于在线 softmax：注意力可以逐块计算，同时保持运行的最大值和运行的标准化器，然后在出现较大值时重新调整早期的部分和。这使得结果在数学上与完全注意力相同。该环仅传递 K/V 张量（大小随块缩放，而不是完整序列），并且由于每一跳的通信与前一个块的 matmul 重叠，因此带宽（而不是内存）成为限制因素。
战略影响
成本与预算
多年来，架构决策决定着性能和运营成本。
更清晰的判决
技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
质量控制
更好的工程选择可以减少生产中的可靠性事故。
序列并行性和环注意力的未来
序列并行性正在成为长上下文训练和推理的标准，通常与张量和管道并行性结合成“4D”或“5D”并行布局。像条纹或锯齿形注意力这样的变体重新平衡了因果掩蔽引起的工作。预计 NVLink 上的拓扑感知环以及与 KV 缓存卸载的更紧密集成，将实际上下文长度推向数千万个用于检索、代码库和长文档的令牌。
现实世界的实施
通过使用 Ring Attention 将每个序列分片到 8 个 GPU 上来训练 1M 令牌上下文 LLM
Megatron-LM 的序列并行性减少了 LayerNorm 和 dropout 区域中的激活记忆
在一次前向传递中处理整本书或大型代码存储库，无需截断
将环注意力机制与张量并行相结合，适应多GPU节点上的超长上下文推理
风险与防护栏
优化一项基准测试可以隐藏更广泛的系统弱点。
基础设施和维护成本常常被低估。
随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
实施路线图
在实施之前定义延迟、质量和成本目标。
在实际负载和数据条件下进行基准测试。
仪器监控错误、漂移和用户影响。
在扩展之前准备回滚和事件响应路径。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Sequence Parallelism and Ring Attention quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Sequence Parallelism and Ring Attention?
序列并行性沿着标记（时间）维度将单个长输入序列拆分到多个 GPU 上，环注意力机制让这些 GPU 通过在环上传递键/值块来计算精确的注意力。它们共同使百万个令牌上下文窗口变得可行，而无需任何单个 GPU 保存整个序列。
序列并行沿着哪个维度分割数据？
序列并行性沿令牌/时间轴跨 GPU 分片单个序列，因此每个设备都拥有连续的令牌块。
环形注意力机制在排列成环形的 GPU 之间传递什么？
每个 GPU 都保持其本地查询固定，并在环上逐跳传递键/值块，因此每个查询最终都会看到每个键。
哪种技术可以让注意力逐块计算，并且仍然完全匹配完整的注意力？
在线 softmax 跟踪运行的最大值和总和，根据需要重新调整部分结果，使分块计算在数值上与完全注意相同。
为什么 Ring Attention 不需要任何单个 GPU 来存储完整的 K/V？
由于 K/V 块增量到达并且每个 GPU 积累部分注意力，因此没有设备需要立即将整个键/值集存储在内存中。
Ring Attention 如何防止通信主导运行时？
每跳的 K/V 通信与当前块的矩阵乘法重叠，因此传输时间很大程度上隐藏在计算后面。