引导式测验 · 中等 等级

Flash注意力测验

检查 FlashAttention 如何在计算精确注意力的同时减少高带宽内存流量，以及哪些硬件会更改 FlashAttention-3 目标。

相关引导路径闪光注意力
问题 1 的 8

标准注意力中 FlashAttention 目标的主要瓶颈是什么？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. 标准注意力中 FlashAttention 目标的主要瓶颈是什么？
    • 读写大型注意力矩阵会降低 GPU 内存速度
    • 浮点乘法的次数
    • 对输入文本进行标记化的成本
    • GPU 之间的网络延迟
  2. FlashAttention 的输出与标准注意力相比如何？
    • 这是一个以精度换取速度的近似值
    • 它在数学上是相同的（精确的）
    • 它仅适用于短序列
    • 它改变了模型的权重
  3. FlashAttention 通过处理图块中的数据来利用哪些 GPU 内存？
    • 大但慢的高带宽内存 (HBM)
    • CPU 的 RAM
    • 体积小但速度非常快的片上 SRAM
    • 磁盘存储
  4. 什么技术可以让 FlashAttention 计算 softmax 而无需立即查看所有分数？
    • 完全跳过softmax
    • 将所有分数四舍五入为零
    • 在CPU上预计算softmax
    • 具有运行重新缩放功能的在线（增量）softmax
  5. 由于完整的注意力矩阵从未存储在 HBM 中，因此内存使用量大致如下：
    • 与序列长度线性相关
    • 与序列长度成二次方
    • 与序列长度呈指数关系
    • 与序列长度无关
  6. Which numeric format does FlashAttention-3 use in its Hopper-focused experiments to accelerate attention?
    • Only 64-bit floating point
    • FP8, with techniques to manage its numerical error
    • Integer text tokens
    • No reduced-precision format
  7. What work-partitioning change does FlashAttention-2 introduce to improve GPU parallelism?
    • It stores the complete attention matrix in HBM
    • It replaces attention with convolution
    • It reduces non-matrix-multiplication work and improves parallelization across thread blocks and warps
    • It uses only CPU execution
  8. In FlashAttention-3, what lets data movement overlap with computation?
    • Replacing attention with a lookup table
    • Computing all scores in host memory
    • Disabling the softmax step
    • Asynchronous execution on Hopper hardware