AI用語集の用語

とは何ですか スライディングウィンドウの注意?

定義

コンピューティングを削減するために、各トークンが近くのトークンの固定サイズのウィンドウのみに注目するアテンション パターン。

関連用語

剪定
重要性の低いモデルの重みやニューロンを削除して、サイズを削減し、計算を行います。
従量制課金
API 呼び出し、トークン、推論時間、または消費されたコンピューティングに応じてコストが変動する価格設定。
スケーリングの法則
モデルのサイズ、データ、またはコンピューティングによってパフォーマンスがどのように向上するかを示す経験的な関係。
スパースモデル
計算量を減らすために、多くのパラメーターがゼロまたは非アクティブになっているモデル。
投機的デコード
小規模なドラフト モデルが提案するトークンを、より大きなモデルが並行して検証する推論高速化方法。
コンテキストウィンドウ
言語モデルが一度に処理できる入力トークンの最大量。

無料ガイドで詳細をご覧ください

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

See also

ALiBiBPE (Byte Pair Encoding)RoPE (Rotary Positional Embeddings)SentencePiecePositional EncodingANN (Approximate Nearest Neighbor)Multi-Head AttentionHNSW
AI 用語集の全文を閲覧するすべての無料 AI ガイドを確認する