ガイド連動クイズ · 中 レベル

引き違い窓注意クイズ

スタック型受容野、ローリング キャッシュ、Gemma 2 レイヤー、Longformer グローバル トークンを使用したローカル アテンション マスクと固定ウィンドウ スケーリングを確認します。

関連するガイドパススライディングウィンドウの注意
質問 1 の 8

固定ウィンドウ W の場合、シーケンス長 N が増加するにつれて、ペアワイズ アテンション項 N 倍 W はどのようにスケールされるでしょうか?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. 固定ウィンドウ W の場合、シーケンス長 N が増加するにつれて、ペアワイズ アテンション項 N 倍 W はどのようにスケールされるでしょうか?
    • Quadratically in N despite W being fixed
    • Exponentially in the vocabulary size by definition
    • It never changes as any tokens are added
    • Linearly in N
  2. 積み重ねられたローカル アテンション レイヤーは、どのようにして 1 つのレイヤーの直接の近傍を超えて情報を伝播するのでしょうか?
    • By guaranteeing perfect recall of every earlier token
    • Through intermediate representations passed across successive layers
    • By randomly moving the original input’s coordinates
    • By eliminating the need for all learned weights
  3. 純粋にローカルな因果的アテンション層の場合、なぜキャッシュ ポリシーはアクティブ ウィンドウよりも古いキーを破棄できるのでしょうか?
    • Those keys are outside that layer’s allowed direct attention links
    • Every model layer must therefore have an identical whole-model memory bound
    • Older tokens are always irrelevant to every possible task
    • The model’s original weights have been deleted
  4. Gemma 2 レポートでは、そのレイヤー全体でどのような注意パターンが説明されていますか?
    • Only one permanently disconnected input token
    • No positional or attention computation anywhere
    • Alternating local sliding-window and global attention
    • A mandatory single identical local neighborhood for all models
  5. サイズ W の因果スライディング ウィンドウの場合、位置 i でどのキーにクエリを実行できますか?
    • i 以降の将来のすべてのポジション
    • 位置 i から W プラス 1 から i
    • 位置0のみ
    • すべてのポジションのランダムなサブセット
  6. In the Mistral report’s rolling cache, which slot stores the keys and values for timestep i with buffer size W?
    • A new permanent slot numbered i+W with no reuse
    • Only slot zero for every timestep
    • The slot at i modulo W
    • A slot chosen by the output token’s alphabetical order
  7. Which context_len value is listed in the original Mistral 7B architecture table, separate from its larger theoretical stacked attention span?
    • 4096 tokens
    • 131072 tokens
    • 32 tokens
    • 8192 tokens
  8. In Longformer’s stated symmetric global-attention design, how does a selected global token connect to other sequence tokens?
    • It attends to them and they can attend to it
    • It can receive no attention from any other token
    • It must ignore every token outside its local window
    • It requires all non-global tokens to be deleted