ガイド連動クイズ · 中 レベル
まばらな注意パターンに関するクイズ
ローカル、拡張、ランダム、およびグローバル スパース アテンション接続と、最適化されたカーネルが長時間入力処理で未使用のエントリをスキップする方法を比較します。
質問 1 の 8
長いシーケンスで完全に注意を払うとコストがかかるのはなぜですか?
すべての質問をプレビューする8 質問
クイズに答えると、答えと解説が表示されます。
- 長いシーケンスで完全に注意を払うとコストがかかるのはなぜですか?
- そのコストはシーケンスの長さの二乗に応じて増加します
- GPUは使用できません
- 短い単語にのみ機能します
- メモリはまったく必要ありません
- スライディング ウィンドウ (ローカル) アテンションとは何ですか?
- 各トークンはランダムなデータベースに参加します
- 各トークンは近くのトークンのみに対応します
- トークンは何も関与しません
- 各トークンはすべてのトークンを 2 回処理します
- 注目が乏しい中での「グローバルトークン」の目的は何でしょうか？
- モデルの速度を下げるには
- 画像を保存するには
- すべてに配慮し、すべてに配慮するハブとして機能すること
- 語彙を置き換えるには
- ランダム、ウィンドウ、およびグローバル アテンションを組み合わせることで、フル アテンションの表現力が維持されることを証明したモデルはどれですか?
- レスネット
- Word2Vec
- アレックスネット
- ビッグバード
- 適切に設計された注目度の低い環境では、接続数はどのように増加するのでしょうか?
- シーケンス長に対してほぼ線形
- シーケンス長による二次関数
- 長さには依存しない
- シーケンス長に応じて指数関数的に
- What do strided or dilated sparse-attention patterns allow?
- それらを計算してゼロに設定します
- Skip ahead to reach distant context with fewer attention links
- 別のサーバーに送信します
- 永久に保存します
- How does Longformer combine local and global attention?
- Every token attends to every other token
- Only random edges are allowed
- Most tokens use a sliding local window, while selected global tokens connect across the sequence
- Each token attends only to the final token
- What is the goal of learned, content-based sparse attention?
- A full dense connection to every token
- A rule for removing all future tokens
- A learned vocabulary for each attention head
- Avoid spending attention compute and memory on content unrelated to the current query