AI用語集の用語

スライディングウィンドウの注意とは？

定義

コンピューティングを削減するために、各トークンが近くのトークンの固定サイズのウィンドウのみに注目するアテンション パターン。

AI 用語集の全文を閲覧するすべての無料 AI ガイドを確認する

関連用語

剪定重要性の低いモデルの重みやニューロンを削除して、サイズを削減し、計算を行います。従量制課金API 呼び出し、トークン、推論時間、または消費されたコンピューティングに応じてコストが変動する価格設定。スケーリングの法則モデルのサイズ、データ、またはコンピューティングによってパフォーマンスがどのように向上するかを示す経験的な関係。スパースモデル計算量を減らすために、多くのパラメーターがゼロまたは非アクティブになっているモデル。投機的デコード小規模なドラフト モデルが提案するトークンを、より大きなモデルが並行して検証する推論高速化方法。コンテキストウィンドウ言語モデルが一度に処理できる入力トークンの最大量。

無料ガイドで詳細をご覧ください

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

こちらも参照

ALiBiBPE (Byte Pair Encoding)RoPE (Rotary Positional Embeddings)SentencePiecePositional EncodingANN (Approximate Nearest Neighbor)Multi-Head AttentionHNSW