稀疏注意力模式
稀疏注意力让 Transformer 变得更便宜，因为它让每个代币只关注精心选择的其他代币的子集而不是全部。
概述
This trades a little global reach for big savings in memory and compute on long sequences.
深入探讨
完全自注意力将每个标记与其他每个标记进行比较，因此成本随着序列长度的平方而增长，这对于长文档来说变得痛苦。稀疏注意力用结构化模式取代了密集模式。常见的设计包括滑动窗口（局部）注意力，其中每个令牌只看到附近的邻居；大步或扩张的模式向前跳跃以便宜地到达遥远的背景；以及全球代币，一些特殊的位置，涉及一切，一切都涉及，充当信息中心。 Longformer、BigBird 和 Sparse Transformer 等模型将这些模型结合起来，因此连接总数大致呈线性增长，而不是呈二次方增长，从而实现了数千到数万个令牌的上下文。
技术洞察
稀疏注意力不是完整的 N×N 注意力矩阵，而是仅计算选定的条目，通常是本地窗口和一些全局行和列的并集。 BigBird 著名地证明，结合随机、窗口和全局连接可以保留充分注意力的理论表达能力，同时将复杂性从 O(N 平方) 降低到 O(N)。高效的内核完全跳过屏蔽的条目，而不是计算然后将它们归零。
战略影响
速度与规模
语言工作流程可以在不牺牲一致性的情况下更快地移动。
交通与覆盖范围
它扩展了跨语言和沟通方式的访问。
更清晰的判决
团队可以花更多时间进行判断，而自动化则可以处理重复。
稀疏注意力模式的未来
稀疏注意力仍然是长上下文建模的核心，越来越多地与 FlashAttention 等优化内核以及学习或动态稀疏性相结合，以选择每个输入要关注的标记。随着上下文窗口扩展到数百万个标记，混合堆栈混合了稀疏层、密集层和状态空间层。期望硬件感知的稀疏内核和基于路由的注意力能够不断降低读取很长输入的成本。
现实世界的实施
Longformer 使用滑动窗口和全局注意力一次性处理整篇科学论文或法律文档
BigBird 通过线性缩放注意力处理长文档问答和基因组序列
总结书本长度的文本，如果全神贯注会耗尽 GPU 内存
使用 Global Hub 令牌在数千个令牌之间路由关键信息的检索和长上下文聊天系统
风险与防护栏
幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
及时的敏感性可能会在类似的请求中产生不一致的结果。
如果访问控制薄弱，敏感文本数据可能会暴露。
实施路线图
在推出之前定义输出格式、语气和质量标准。
当准确性很重要时，请使用可信来源进行地面响应。
为高风险输出保留人工审查检查点。
跟踪故障模式并定期重新训练提示或工作流程。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Sparse Attention Patterns quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Sparse Attention Patterns?
稀疏注意力让 Transformer 变得更便宜，因为它让每个代币只关注精心选择的其他代币的子集而不是全部。这会牺牲一点全球影响力，以节省大量内存和长序列计算。
为什么在长序列上完全自注意力会很昂贵？
充分关注将每个令牌与其他每个令牌进行比较，从而给出 O(N 平方) 的时间和内存成本。
什么是滑动窗口（局部）注意力？
本地注意力将每个令牌的视图限制在周围令牌的固定窗口内，从而大大降低了成本。
稀疏注意力中“全局代币”的目的是什么？
一些全局令牌连接到所有位置，让信息廉价地在整个序列中流动。
哪个模型证明了随机、窗口和全局注意力的结合可以保持全注意力的表达能力？
BigBird 表明其稀疏模式是序列函数的通用逼近器，同时大致线性缩放。
在精心设计的稀疏注意力中，连接数量大致如何扩展？
通过限制与本地窗口的连接以及一些全局链接，总连接数呈线性增长。