引导式测验 · 硬 等级

状态空间模型和曼巴测验

测试状态空间序列复杂性、Mamba 选择性、硬件感知扫描、循环推理状态和混合模型。

相关引导路径状态空间模型和 Mamba
问题 1 的 8

与标准自注意力相比，状态空间模型如何随序列长度缩放？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. 与标准自注意力相比，状态空间模型如何随序列长度缩放？
    • 线性，与注意力的二次缩放
    • 二次方，与注意力的线性缩放相比
    • 两者的比例相同
    • 两者均呈指数增长
  2. Mamba 为 S4 等之前的结构化 SSM 添加的核心创新是什么？
    • 内部使用softmax注意力
    • 使状态更新参数取决于输入（选择性）
    • 完全删除隐藏状态
    • 切换到二次时间计算
  3. 为什么 Mamba 需要自定义硬件感知并行扫描？
    • 因为GPU不能做矩阵乘法
    • 减少层数
    • 因为使参数依赖于输入会破坏简单的卷积技巧
    • 因为它没有使用学习到的参数
  4. 在推理过程中，Mamba 等 SSM 的一个关键效率优势是它使用：
    • 随完整序列长度增长的内存，如 KV 缓存
    • 完全没有记忆
    • 比同等大小的 Transformer 拥有更多内存
    • 每个生成的令牌的内存大致恒定
  5. 在经典的结构化 SSM 中（选择性之前），可以有效地计算递归，因为它可以重写为：
    • 长卷积
    • Softmax运算
    • 决策树
    • 随机森林
  6. Mamba 论文在其标准自回归缩放实验中使用了哪种语言建模语料库？
    • ImageNet-1K
    • 桩
    • LibriSpeech only
    • D4RL
  7. 在 Mamba 块中，什么操作将选择性 SSM 输出与其他投影分支结合起来？
    • A nearest-neighbor lookup over audio frames
    • A cross-attention layer over image patches
    • An elementwise multiplicative interaction with a gated branch
    • A graph-degree normalization step
  8. What language-modeling result does the Mamba paper report for its 3B model?
    • It requires a Transformer cache twice as large
    • It replaces the training corpus with audio only
    • It can be trained without any data
    • It matches Transformers twice its size in pretraining and downstream evaluation