人工智能术语

什么是滑动窗口注意？

定义

一种注意模式，其中每个令牌仅关注附近令牌的固定大小窗口以减少计算。

浏览完整的人工智能术语表探索所有免费的人工智能指南

相关术语

修剪删除不太重要的模型权重或神经元以减小尺寸和计算量。基于使用的计费成本随 API 调用、令牌、推理时间或消耗的计算而变化的定价。缩放定律一种经验关系，显示性能如何随模型大小、数据或计算而提高。稀疏模型许多参数为零或不活动以减少计算的模型。推测性解码一种推理加速方法，其中小型草稿模型提出令牌，大型模型并行验证。上下文窗口语言模型一次可以处理的输入标记的最大数量。

在我们的免费指南中了解更多信息

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

参见

ALiBiBPE (Byte Pair Encoding)RoPE (Rotary Positional Embeddings)SentencePiecePositional EncodingANN (Approximate Nearest Neighbor)Multi-Head AttentionHNSW