人工智能术语

什么是注意力机制？

定义

生成输出时动态关注输入的相关部分的模型组件。

浏览完整的人工智能术语表探索所有免费的人工智能指南

相关术语

编码器将输入转换为潜在表示的模型组件。多头注意力一种并行运行多个注意力操作以捕获不同类型关系的转换器机制。铝锂一种位置偏差方法，根据标记距离惩罚注意力分数，帮助模型推断更长的上下文。分类模型将输入分配给一个或多个预定义类别的任务。上下文窗口语言模型一次可以处理的输入标记的最大数量。数据漂移现实世界输入数据随时间的变化可能会降低模型性能。

在我们的免费指南中了解更多信息

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

参见

Artificial Intelligence (AI)Autonomous SystemAPI (Application Programming Interface)BackpropagationAnnotationBaseline ModelAlgorithmic TransparencyBenchmark