引導式測驗 · 硬 等級
狀態空間模型與曼巴測驗
測試狀態空間序列複雜度、Mamba 選擇性、硬體感知掃描、循環推理狀態和混合模型。
問題 1 的 8
与标准自注意力相比,状态空间模型如何随序列长度缩放?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 与标准自注意力相比,状态空间模型如何随序列长度缩放?
- 线性,与注意力的二次缩放
- 二次方,与注意力的线性缩放相比
- 兩者的比例相同
- 兩者均為指數型成長
- Mamba 为 S4 等之前的结构化 SSM 添加的核心创新是什么?
- 内部使用softmax注意力
- 使状态更新参数取决于输入(选择性)
- 完全刪除隱藏狀態
- 切换到二次时间计算
- 为什么 Mamba 需要自定义硬件感知并行扫描?
- 因为GPU不能做矩阵乘法
- 減少層數
- 因为使参数依赖于输入会破坏简单的卷积技巧
- 因为它没有使用学习到的参数
- 在推理過程中,Mamba 等 SSM 的一個關鍵效率優勢是它使用:
- 隨完整序列長度增長的內存,如 KV 緩存
- 完全沒有記憶
- 比同等大小的 Transformer 擁有更多內存
- 每個產生的令牌的記憶體大致恆定
- 在經典的結構化 SSM 中(選擇性之前),可以有效地計算遞歸,因為它可以重寫為:
- 長卷積
- Softmax運算
- 決策樹
- 隨機森林
- Which language-modeling corpus did the Mamba paper use in its standard autoregressive scaling experiments?
- ImageNet-1K
- 樁
- LibriSpeech only
- D4RL
- In the Mamba block, what operation combines the selective-SSM output with the other projected branch?
- A nearest-neighbor lookup over audio frames
- A cross-attention layer over image patches
- An elementwise multiplicative interaction with a gated branch
- A graph-degree normalization step
- What language-modeling result does the Mamba paper report for its 3B model?
- It requires a Transformer cache twice as large
- It replaces the training corpus with audio only
- It can be trained without any data
- It matches Transformers twice its size in pretraining and downstream evaluation