人工智慧術語

什麼是 滑動視窗注意?

定義

一種注意模式，其中每個令牌僅關注附近令牌的固定大小視窗以減少計算。

相關術語

修剪
刪除不太重要的模型權重或神經元以減少尺寸和計算量。
基於使用的計費
成本隨 API 呼叫、令牌、推理時間或消耗的計算而變化的定價。
縮放定律
一種經驗關係，顯示效能如何隨模型大小、資料或計算而提高。
稀疏模型
許多參數為零或不活動以減少計算的模型。
推測性解碼
一種推理加速方法，其中小型草稿模型提出令牌，大型模型並行驗證。
上下文視窗
語言模型一次可以處理的輸入標記的最大數量。

在我們的免費指南中了解更多信息

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

參見

ALiBiBPE (Byte Pair Encoding)RoPE (Rotary Positional Embeddings)SentencePiecePositional EncodingANN (Approximate Nearest Neighbor)Multi-Head AttentionHNSW
瀏覽完整的人工智慧術語表探索所有免費的人工智慧指南