ガイド連動クイズ · ハード レベル

リニア アテンションとパフォーマー カーネルのクイズ

ソフトマックス アテンションのシーケンス コスト、連想再配置、FAVOR+ カーネル近似、ランダム特徴、線形複雑性をチェックします。

関連するガイドパスリニア アテンション カーネルとパフォーマー カーネル
質問 1 の 8

標準のソフトマックス アテンションがシーケンスの長さに応じてうまく調整できないのはなぜですか?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. 標準のソフトマックス アテンションがシーケンスの長さに応じてうまく調整できないのはなぜですか?
    • その時間とメモリはシーケンスの長さの 2 乗に応じて増加します
    • すべてのトークンをアルファベット順に並べ替える必要があります
    • 一度に処理できるトークンは 1 つだけです
    • トークンごとに個別のニューラル ネットワークが必要です
  2. 線形注意によって n 行 n 列の行列を回避できる数学的性質は何ですか?
    • 加算の可換性
    • 行列乗算の結合性
    • ソフトマックスの分配法則
    • 固有値分解
  3. Performer の FAVOR+ メカニズムは何を近似していますか?
    • 勾配降下の更新
    • トークナイザーの語彙
    • ソフトマックス アテンション カーネル
    • レイヤー正規化統計
  4. Performer が以前の三角関数の特徴ではなく正のランダム特徴を使用するのはなぜですか?
    • CPU のみで高速に実行されます
    • ランダム性の必要性が排除されます
    • モデルを完全に解釈可能にします
    • 非負の注意重みを保証し、数値の安定性を向上させます。
  5. シーケンス長 n におけるパフォーマー スタイルのリニア アテンションのおおよその複雑さはどれくらいですか?
    • O(n)
    • O(n^2)
    • O(n log n)
    • O(2^n)
  6. 完全なソフトマックス アテンションと比較した純粋なリニア アテンションの一般的な制限は何ですか?
    • GPUでは実行できません
    • 多くの場合、モデリング品質がわずかに低下します
    • 画像に対してのみ機能します
    • すべてのトークンにラベル付きデータが必要です
  7. For attention written as phi(Q)(phi(K)^T V), which multiplication can be done first to avoid creating an n-by-n matrix?
    • Compute QK^T and store every pairwise score
    • Apply softmax to the full n-by-n matrix first
    • Compute phi(K)^T V before multiplying by phi(Q)
    • Multiply the final output by the sequence length
  8. What benefit does using orthogonal random features provide in Performer’s FAVOR+ approximation?
    • It guarantees exact softmax for every sequence
    • It removes the need for query and key vectors
    • It makes attention quadratic in sequence length
    • It reduces variance in the random-feature estimate