スライディングウィンドウの注意

通常の密な自己注意は、シーケンス全体にわたってトークンペアの相互作用を形成します。スライディング ウィンドウ マスクは、モデルまたは実装で規定されている正確な規則に従って、許可されるインタラクションをローカル近傍に制限します。 N の位置がそれぞれ最大 W 個のキーを考慮する場合、ペアごとの作業は W の N 倍に比例します。これは、W が固定されたままの場合、N で線形になります。他の計算も依然として完全なレイヤーのコストに影響します。 W に現在のトークンが含まれる因果関係の場合、位置 i のクエリでは、シーケンスの先頭でクリップされた位置 i-W+1 から i を見ることができます。 N を同じ W で 2 倍にすると、この対の項は 4 倍ではなく 2 倍になります。ローカル層を積み重ねると、単一層の直接の近傍を越えて情報が伝播する可能性がありますが、理論的な受容野が拡張されても、その範囲全体にわたって正確な再現が保証されるわけではありません。元の Mistral 7B レポートでは、4096 ウィンドウ サイズとローリング バッファーが指定されています。そのアーキテクチャ テーブルには、context_len が 8192 としてリストされており、スタック層からのより大きな理論的スパンとは別にされています。タイムステップ i のキャッシュされたキーと値をスロット i のモジュロ W にマッピングするため、必要に応じて古いエントリを上書きできます。この制限されたローカル層キャッシュは、ハイブリッド モデルのすべての層に一般化されるべきではありません。 Gemma 2 のレポートでは、ローカルとグローバルの注目層がそれぞれ指定されたスパンで交互に存在することについて説明しています。ロングフォーマーは代わりに、選択されたトークンの位置にグローバルな注目を割り当てます。これらのトークンはシーケンス全体に参加し、他のトークンはそれらに注目することができます。これらは、非ローカルなインタラクションを追加するための明確な方法です。精度、メモリ、レイテンシは実際のアーキテクチャで評価する必要があります。