人工智能术语

什么是 滑动窗口注意?

定义

一种注意模式，其中每个令牌仅关注附近令牌的固定大小窗口以减少计算。

相关术语

修剪
删除不太重要的模型权重或神经元以减小尺寸和计算量。
基于使用的计费
成本随 API 调用、令牌、推理时间或消耗的计算而变化的定价。
缩放定律
一种经验关系，显示性能如何随模型大小、数据或计算而提高。
稀疏模型
许多参数为零或不活动以减少计算的模型。
推测性解码
一种推理加速方法，其中小型草稿模型提出令牌，大型模型并行验证。
上下文窗口
语言模型一次可以处理的输入标记的最大数量。

在我们的免费指南中了解更多信息

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

参见

ALiBiBPE (Byte Pair Encoding)RoPE (Rotary Positional Embeddings)SentencePiecePositional EncodingANN (Approximate Nearest Neighbor)Multi-Head AttentionHNSW
浏览完整的人工智能术语表探索所有免费的人工智能指南