概述
它允许大型语言模型以少得多的 GPU 内存运行，同时保持质量接近标准关注度。
深入探讨
当转换器生成文本时，它会将每个过去标记的键和值向量存储在“KV 缓存”中。该缓存随着上下文长度而增长，并在推理期间主导内存使用。 MLA 将许多全尺寸键/值向量替换为每个令牌的单个低秩潜在向量，然后将其动态投影回每个头的键和值。由于仅缓存紧凑的潜在变量，DeepSeek-V2 报告称，与标准多头注意力机制相比，KV 缓存内存减少了 90% 以上，从而实现了更长的上下文和更大的批量大小。至关重要的是，上投影矩阵可以折叠成其他权重，因此 MLA 可以实现这种压缩，而建模质量几乎没有或没有可测量的损失。
现实世界的实施
为 DeepSeek-V2/V3 聊天模型提供服务，每个请求的 GPU 内存占用量显着减少
运行长文档问答，否则大型 KV 缓存会耗尽 VRAM
在固定 GPU 上增加推理批量大小，因为每个序列仅存储一个微小的潜在向量
在商用硬件上为检索增强助理启用更长的上下文窗口
多头潜在注意力的未来
MLA 帮助 DeepSeek-V2 和 V3 实现大规模服务的经济性，并且随着团队追求更便宜的长上下文推理，该技术正在传播。预计 MLA 风格的潜在压缩将与稀疏专家混合层、量化缓存和未来开放模型中的推测解码相结合。研究人员还在探索在质量下降之前潜在维度可以缩小多少，以及相同的低等级想法是否可以在训练期间压缩注意力，而不仅仅是推理。
付诸实践
为什么这很重要
- 速度与规模. 语言工作流程可以在不牺牲一致性的情况下更快地移动。
- 交通与覆盖范围. 它扩展了跨语言和沟通方式的访问。
- 更清晰的判决. 团队可以花更多时间进行判断，而自动化则可以处理重复。
留意
- 幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
- 及时的敏感性可能会在类似的请求中产生不一致的结果。
- 如果访问控制薄弱，敏感文本数据可能会暴露。
后续步骤
- 在推出之前定义输出格式、语气和质量标准。
- 当准确性很重要时，请使用可信来源进行地面响应。
- 为高风险输出保留人工审查检查点。
- 跟踪故障模式并定期重新训练提示或工作流程。
不断探索
常见问题
什么是多头潜在注意力？
多头潜在注意力（MLA）是 DeepSeek-V2 中引入的一种注意力机制，它将占用内存的键值缓存压缩为一个小的共享潜在向量。它允许大型语言模型以少得多的 GPU 内存运行，同时保持质量接近标准关注度。
多头潜在注意力旨在减少的主要问题是什么？
MLA 的目标是 KV 缓存，它随着上下文长度的增长而增长，并在文本生成期间占据内存。
MLA如何收缩KV缓存？
MLA 为每个标记缓存一个紧凑的潜在向量，并通过上投影从中重建键和值。
哪个模型首先引入了多头潜在注意力？
MLA由DeepSeek在其DeepSeek-V2模型中引入，并被引入到DeepSeek-V3中。
为什么 MLA 需要一个单独的“解耦”路径来进行旋转位置嵌入？
旋转变换不能被吸收到其他权重矩阵中，因此MLA保留了一个小的解耦关键组件来携带位置信息。
与标准多头注意力相比，DeepSeek-V2 从 MLA 报告的 KV 缓存内存减少了大约多少？
DeepSeek-V2 报告称，KV 缓存内存减少了 90% 以上，从而实现了更长的上下文和更大的批次。