引导式测验 · 硬 等级

Flash 注意力测验

测试 FlashAttention 的 IO 感知平铺、在线 softmax、精确注意力、序列缩放以及内存流量和计算之间的差异。

相关引导路径闪光注意
问题 1 的 8

Flash Attention的主要瓶颈是什么？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. Flash Attention的主要瓶颈是什么？
    • 读写大型注意力矩阵会降低 GPU 内存速度
    • Attention中的浮点乘法次数
    • 从磁盘加载模型权重的成本
    • 多个 GPU 之间的网络延迟
  2. Flash Attention 如何避免存储完整的 N×N 注意力矩阵？
    • 它通过随机预测来近似注意力
    • 它处理小块中的查询、键和值并组合部分结果
    • 它完全跳过大多数令牌对
    • 它通过量化压缩矩阵
  3. 什么技术可以让 Flash Attention 正确计算 softmax，而无需一次看到整行？
    • 预先计算的指数查找表
    • 放弃 softmax 并使用线性近似
    • 跟踪运行最大值和总和的运行（在线）softmax
    • 标准化前对分数进行排序
  4. 与标准attention相比，Flash Attention的输出为：
    • 以准确性换取速度的粗略近似值
    • 因为精度更高所以更准确
    • 仅对短序列有效
    • 数学上相同，只是计算效率更高
  5. 为什么 Flash Attention 对于长序列最有帮助？
    • 因为注意力记忆随序列长度呈二次方增长
    • 因为较长的序列需要较少的层数
    • 因为对于长输入，softmax 变得不必要
    • 因为 GPU 在短序列上运行速度较慢
  6. Flash Attention 的“IO 感知”设计优先考虑最小化什么？
    • 模型参数个数
    • SRAM 和 HBM 之间的内存读写
    • 神经网络的深度
    • 分词器的词汇量大小
  7. What remains computationally quadratic for dense exact self-attention even when FlashAttention reduces memory traffic?
    • The number of model layers must double
    • Every token is compared with only one other token
    • The number of query-key pair interactions grows with the square of sequence length
    • The number of model parameters becomes zero
  8. Why can FlashAttention’s results differ slightly from a reference implementation despite computing the same mathematical attention?
    • It intentionally drops all long-distance tokens
    • It changes the model weights during inference
    • It replaces softmax with a random sample
    • Floating-point operations can occur in a different order during tiled accumulation