フラッシュアテンションクイズ

クイズに答えると、答えと解説が表示されます。

1. Flash Attendant が対象とする主なボトルネックは何ですか?
   • 低速な GPU メモリへの大規模アテンション マトリックスの読み取りと書き込み
   • 注目される浮動小数点乗算の数
   • ディスクからモデルの重みをロードするコスト
   • 複数の GPU 間のネットワーク遅延
2. Flash アテンションはどのようにして完全な N 行 N 列のアテンション マトリックスの保存を回避するのでしょうか?
   • ランダムな投影で注意を近似します
   • クエリ、キー、値を小さなタイルで処理し、部分的な結果を結合します。
   • ほとんどのトークンペアを完全にスキップします
   • 量子化を使用して行列を圧縮します
3. 一度に行全体を確認することなく、Flash Attend でソフトマックスを正しく計算できるのはどのような技術ですか?
   • 事前に計算された指数関数のルックアップ テーブル
   • ソフトマックスを削除し、線形近似を使用する
   • 実行中の最大値と合計を追跡する実行中の (オンライン) ソフトマックス
   • 正規化する前にスコアを並べ替える
4. 標準のアテンションと比較した場合、フラッシュ アテンションの出力は次のようになります。
   • 精度を速度と引き換えにした大まかな近似値
   • 精度が高いため、より正確になります
   • 短いシーケンスにのみ有効です
   • 数学的には同じですが、より効率的に計算されるだけです
5. フラッシュ アテンションが長いシーケンスに最も役立つのはなぜですか?
   • アテンションメモリはシーケンスの長さに応じて二次関数的に増加するため、
   • 長いシーケンスでは必要なレイヤーが少なくなるため、
   • 長い入力の場合はソフトマックスが不要になるため
   • 短いシーケンスでは GPU の動作が遅くなるため
6. Flash Attendant の「IO を意識した」設計では何を最小化することが優先されますか?
   • モデルパラメータの数
   • SRAM と HBM 間のメモリの読み取りおよび書き込み
   • ニューラルネットワークの深さ
   • トークナイザーの語彙サイズ
7. What remains computationally quadratic for dense exact self-attention even when FlashAttention reduces memory traffic?
   • The number of model layers must double
   • Every token is compared with only one other token
   • The number of query-key pair interactions grows with the square of sequence length
   • The number of model parameters becomes zero
8. Why can FlashAttention’s results differ slightly from a reference implementation despite computing the same mathematical attention?
   • It intentionally drops all long-distance tokens
   • It changes the model weights during inference
   • It replaces softmax with a random sample
   • Floating-point operations can occur in a different order during tiled accumulation