块稀疏和本机稀疏注意力测验

当您参加测验时，就会出现答案和解释。

1. 为什么标准自注意力对于长序列来说代价昂贵？
   • 其成本随序列长度呈二次方增长
   • 它使用的参数太少
   • 它无法在 GPU 上运行
   • 它只关注第一个令牌
2. 块稀疏注意力的核心思想是什么？
   • 删除前馈层
   • 仅在选定的令牌块之间计算注意力
   • 仅使用一个注意力头
   • 将嵌入尺寸加倍
3. 是什么让原生稀疏注意力（NSA）与许多早期的稀疏方法不同？
   • 它完全消除了人们的注意力
   • 仅在推理期间有效
   • 它是可端到端训练的并且与硬件一致
   • 它不需要 GPU
4. NSA 将哪三个分支组合起来作为其键和值？
   • 编码器、解码器和嵌入
   • Dropout、标准化和池化
   • 量化、剪枝和蒸馏
   • 压缩、选择和滑动窗口
5. 为什么 NSA 使用块级操作而不是任意令牌级稀疏性？
   • 与 GPU 内存访问和张量核心吞吐量保持一致，以实现真正的加速
   • 使模型更大
   • 完全避免使用注意力
   • 减少层数
6. 在自回归解码期间，稀疏注意力特别有用，因为该步骤通常是：
   • 矩阵乘法的计算限制
   • 受内存限制，因此减少参与的令牌可以加快速度
   • 与序列长度无关
   • 仅在 CPU 上运行
7. What information does NSA’s compression branch provide to the attention computation?
   • A full dense score for every token pair
   • Only the optimizer’s first moment
   • Coarse-grained summaries of blocks of tokens
   • A random subset of output labels
8. Why can learned sparsity patterns be more useful than a fixed arbitrary mask?
   • They remove the need to compute attention scores
   • They guarantee zero memory use
   • They force every token to attend globally
   • They can select blocks relevant to the input while remaining aligned with efficient hardware operations