引導式測驗 · 硬 等級

狀態空間模型與曼巴測驗

測試狀態空間序列複雜度、Mamba 選擇性、硬體感知掃描、循環推理狀態和混合模型。

相關引導路徑狀態空間模型和 Mamba
問題 1 的 8

与标准自注意力相比,状态空间模型如何随序列长度缩放?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 与标准自注意力相比,状态空间模型如何随序列长度缩放?
    • 线性,与注意力的二次缩放
    • 二次方,与注意力的线性缩放相比
    • 兩者的比例相同
    • 兩者均為指數型成長
  2. Mamba 为 S4 等之前的结构化 SSM 添加的核心创新是什么?
    • 内部使用softmax注意力
    • 使状态更新参数取决于输入(选择性)
    • 完全刪除隱藏狀態
    • 切换到二次时间计算
  3. 为什么 Mamba 需要自定义硬件感知并行扫描?
    • 因为GPU不能做矩阵乘法
    • 減少層數
    • 因为使参数依赖于输入会破坏简单的卷积技巧
    • 因为它没有使用学习到的参数
  4. 在推理過程中,Mamba 等 SSM 的一個關鍵效率優勢是它使用:
    • 隨完整序列長度增長的內存,如 KV 緩存
    • 完全沒有記憶
    • 比同等大小的 Transformer 擁有更多內存
    • 每個產生的令牌的記憶體大致恆定
  5. 在經典的結構化 SSM 中(選擇性之前),可以有效地計算遞歸,因為它可以重寫為:
    • 長卷積
    • Softmax運算
    • 決策樹
    • 隨機森林
  6. Which language-modeling corpus did the Mamba paper use in its standard autoregressive scaling experiments?
    • ImageNet-1K
    • 樁
    • LibriSpeech only
    • D4RL
  7. In the Mamba block, what operation combines the selective-SSM output with the other projected branch?
    • A nearest-neighbor lookup over audio frames
    • A cross-attention layer over image patches
    • An elementwise multiplicative interaction with a gated branch
    • A graph-degree normalization step
  8. What language-modeling result does the Mamba paper report for its 3B model?
    • It requires a Transformer cache twice as large
    • It replaces the training corpus with audio only
    • It can be trained without any data
    • It matches Transformers twice its size in pretraining and downstream evaluation