ブロックスパースおよびネイティブスパースの注意力クイズ

クイズに答えると、答えと解説が表示されます。

1. 長いシーケンスでは標準的なセルフアテンションが高価になるのはなぜですか?
   • そのコストはシーケンスの長さに応じて二次関数的に増加します
   • 使用するパラメーターが少なすぎます
   • GPUでは実行できません
   • 最初のトークンのみに注目します
2. ブロックスパースアテンションの中心的な考え方は何ですか?
   • フィードフォワード層の削除
   • 選択されたトークンのブロック間でのみアテンションを計算します
   • 1 つのアテンション ヘッドのみを使用する
   • 埋め込み次元を 2 倍にする
3. ネイティブ スパース アテンション (NSA) が、以前の多くのスパース手法と異なる点は何ですか?
   • 注意を完全に取り除きます
   • 推論中にのみ機能します
   • エンドツーエンドでトレーニング可能であり、ハードウェアに合わせて調整できます
   • GPUは必要ありません
4. NSA がそのキーと値のために組み合わせている 3 つのブランチはどれですか?
   • エンコーダ、デコーダ、および埋め込み
   • ドロップアウト、正規化、およびプーリング
   • 量子化、枝刈り、蒸留
   • 圧縮、選択、およびスライディング ウィンドウ
5. NSA が任意のトークン レベルのスパース性ではなくブロック レベルの操作を使用するのはなぜですか?
   • GPU メモリ アクセスとテンソルコア スループットを調整して実際の高速化を実現
   • モデルを大きくするには
   • 注意力をまったく使わないようにする
   • レイヤーの数を減らすには
6. 自己回帰デコード中は、そのステップが次のような場合が多いため、まばらな注意が特に役立ちます。
   • 行列乗算の限界を計算する
   • メモリに制限があるため、出席トークンを減らすと速度が向上します
   • シーケンスの長さに依存しない
   • CPU 上でのみ実行
7. What information does NSA’s compression branch provide to the attention computation?
   • A full dense score for every token pair
   • Only the optimizer’s first moment
   • Coarse-grained summaries of blocks of tokens
   • A random subset of output labels
8. Why can learned sparsity patterns be more useful than a fixed arbitrary mask?
   • They remove the need to compute attention scores
   • They guarantee zero memory use
   • They force every token to attend globally
   • They can select blocks relevant to the input while remaining aligned with efficient hardware operations