引导式测验 · 硬 等级

曼巴和选择性状态空间测验

查看 Mamba 的输入相关 SSM 参数、固定大小状态、线性时间序列处理和硬件感知并行扫描。

相关引导路径曼巴和选择性状态空间
问题 1 的 8

与标准 Transformer 相比，Mamba 的主要计算优势是什么？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. 与标准 Transformer 相比，Mamba 的主要计算优势是什么？
    • 它随序列长度线性缩放，而不是二次缩放
    • 它不需要训练数据
    • 它仅适用于图像
    • 它消除了对任何隐藏状态的需要
  2. 《曼巴》中的“选择性”一词指的是什么？
    • 它选择在哪个 GPU 上运行
    • 它的SSM参数取决于输入令牌，因此它可以选择记住或忘记什么
    • 它仅选择名词和动词
    • 它选择一个随机的标记子集来忽略
  3. 状态空间模型如何表示序列的历史？
    • 通过显式存储每个先前的令牌
    • 通过在所有对上绘制注意力图
    • 通过将历史压缩为固定大小的隐藏状态逐步更新
    • 它不保留任何历史记录
  4. 为什么 Mamba 不能使用早期 SSM 使用的快速卷积捷径？
    • 因为卷积在 GPU 上是非法的
    • 因为它没有参数
    • 因为它以随机顺序处理令牌
    • 因为使参数依赖于输入会破坏时不变性卷积所需的
  5. 尽管失去了卷积捷径，Mamba 使用什么技术来保持速度？
    • 保存在快速 GPU 内存中的硬件感知并行扫描
    • 完全在CPU上运行
    • 缓存所有令牌对
    • 跳过大部分序列
  6. 谁介绍了曼巴？大概是什么时候？
    • 2018 年OpenAI
    • Albert Gu 和 Tri Dao 于 2023 年底
    • 2015 年Google
    • 没有人，这是假设的
  7. Which Mamba state-space parameters are made functions of the current input?
    • Only the fixed transition matrix A
    • The output vocabulary and tokenizer
    • B, C, and the step size delta
    • The attention query and key heads
  8. What do the variable B, C, and delta parameters let Mamba do?
    • Build a growing key-value cache for every token
    • Route each token to an expert network only
    • Replace the state update with full all-pairs attention
    • Choose how much information to let into the state and how much to retain based on the input