ガイド連動クイズ · 中 レベル

フラッシュアテンションクイズ

FlashAttendant が正確なアテンションを計算しながら高帯域幅のメモリ トラフィックをどのように削減するか、および FlashAttendant 3 のターゲットがどのハードウェアに変更されるかを確認してください。

関連するガイドパスフラッシュ注意
質問 1 の 8

標準アテンションにおける主なボトルネックとなる FlashAttend ターゲットは何ですか?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. 標準アテンションにおける主なボトルネックとなる FlashAttend ターゲットは何ですか?
    • 低速な GPU メモリへの大規模アテンション マトリックスの読み取りと書き込み
    • 浮動小数点乗算の数
    • 入力テキストをトークン化するコスト
    • GPU間のネットワーク遅延
  2. Flashアテンションの出力は標準のアテンションとどのように比較されますか?
    • これは、精度と速度を引き換えにした近似値です。
    • 数学的には（正確に）同一です
    • 短いシーケンスでのみ機能します
    • モデルの重みを変更します
  3. FlashAttention はタイル内のデータを処理することでどの GPU メモリを活用しますか?
    • 大容量だが遅い高帯域幅メモリ (HBM)
    • CPUのRAM
    • 小型ながら非常に高速なオンチップ SRAM
    • ディスクストレージ
  4. すべてのスコアを一度に確認せずに FlashAttend でソフトマックスを計算できるのはどのような手法ですか?
    • ソフトマックスを完全にスキップする
    • すべてのスコアをゼロに丸める
    • CPU でのソフトマックスの事前計算
    • 再スケーリングを実行するオンライン (増分) ソフトマックス
  5. 完全なアテンション マトリックスが HBM に保存されることはないため、メモリ使用量は大まかにスケールされます。
    • シーケンスの長さに対して線形的
    • シーケンス長による二次関数
    • シーケンス長に応じて指数関数的に
    • シーケンスの長さに関係なく
  6. Which numeric format does FlashAttention-3 use in its Hopper-focused experiments to accelerate attention?
    • Only 64-bit floating point
    • FP8, with techniques to manage its numerical error
    • Integer text tokens
    • No reduced-precision format
  7. What work-partitioning change does FlashAttention-2 introduce to improve GPU parallelism?
    • It stores the complete attention matrix in HBM
    • It replaces attention with convolution
    • It reduces non-matrix-multiplication work and improves parallelization across thread blocks and warps
    • It uses only CPU execution
  8. In FlashAttention-3, what lets data movement overlap with computation?
    • Replacing attention with a lookup table
    • Computing all scores in host memory
    • Disabling the softmax step
    • Asynchronous execution on Hopper hardware