概述
Mamba 添加了依赖于输入的选择性和硬件感知扫描，以提高序列建模的效率。
深入探讨
时不变的线性状态空间递归可以展开为长卷积，从而实现并行训练。 Mamba 使选择的参数取决于当前的输入；这种选择性打破了固定的卷积核，因此论文使用硬件感知的并行扫描来有效地计算递归。 Mamba 论文描述了线性时间序列处理和推理时的循环状态。卷积等价属于固定参数 SSM，而不是选择性 Mamba 本身。在 Mamba 论文的自回归语言模型实验中，标准训练语料库是 The Pile。 Mamba 模块将选择性 SSM 输出和投影分支与元素门控交互相结合。在论文的预训练和下游评估中，报告的 Mamba-3B 模型与变形金刚的大小相匹配；将这个结果范围应用到这些实验中。
现实世界的实施
使用状态空间模型处理长序列。
在设定的上下文长度下将推理记忆与注意力模型进行比较。
检查选择性扫描实现和硬件假设。
评估目标模式的混合架构。
状态空间模型和 Mamba 的未来
SSM 和混合变压器是活跃的研究方向。比较匹配任务和序列长度的准确性、吞吐量和内存。
付诸实践
为什么这很重要
- 更清晰的判决. 它可以帮助您将清晰的技术声明与营销语言分开。
- 成本与预算. 在花费金钱或时间之前，您可以提出更好的实施问题。
- 团队与工作流程. 具有共同理解的团队可以做出更好的产品、政策和学习决策。
留意
- 不同的团队可能会以不同的方式使用同一术语，因此请尽早定义范围。
- 基准测试可能看起来很强大，但实际性能却参差不齐。
- 忽视数据质量和评估计划通常会产生脆弱的结果。
后续步骤
- 从您需要的结果的简单语言定义开始。
- 在测试之前选择一种成功指标和一种失败条件。
- 使用代表性数据运行小型试点，而不是完善的演示集。
- 记录状态空间模型和 Mamba 在哪些方面有帮助以及在哪些方面更简单的方法更好。
不断探索
常见问题
什么是状态空间模型和 Mamba？
状态空间模型表示通过随时间更新的潜在状态的序列处理。 Mamba 添加了依赖于输入的选择性和硬件感知扫描，以提高序列建模的效率。
与标准自注意力相比，状态空间模型如何随序列长度缩放？
SSM 以线性递归方式处理序列，并线性缩放长度，而自注意力则将每个标记与其他标记进行比较，并以二次方缩放。
Mamba 为 S4 等之前的结构化 SSM 添加的核心创新是什么？
Mamba 引入了选择性 SSM，其 B、C 和步长参数是输入的函数，让模型选择每个标记要记住的内容。
为什么 Mamba 需要自定义硬件感知并行扫描？
依赖于输入的（选择性）参数意味着递归不再是单个固定卷积，因此并行扫描内核可以恢复训练速度。
Mamba 论文在其标准自回归缩放实验中使用了哪种语言建模语料库？
Mamba 论文称其标准自回归语言建模实验使用了 The Pile；这标识了论文的数据集，而不是通用训练语料库。
在 Mamba 块中，什么操作将选择性 SSM 输出与其他投影分支结合起来？
Mamba 架构将其选择性 SSM 与 MLP 风格的分支结合在一个块中；该论文将块计算描述为使用乘法/门控交互。