什么是注意力机制？定义 | AI Understanding

定义

生成输出时动态关注输入的相关部分的模型组件。

相关术语

将输入转换为潜在表示的模型组件。

多头注意力

一种并行运行多个注意力操作以捕获不同类型关系的转换器机制。

一种位置偏差方法，根据标记距离惩罚注意力分数，帮助模型推断更长的上下文。

模型将输入分配给一个或多个预定义类别的任务。

上下文窗口

语言模型一次可以处理的输入标记的最大数量。

现实世界输入数据随时间的变化可能会降低模型性能。

在我们的免费指南中了解更多信息

Attention Rollout and Head Pruning Sequence Parallelism and Ring Attention Multi-Head Latent Attention RWKV Linear Attention

参见

Artificial Intelligence (AI)Autonomous System API (Application Programming Interface)Backpropagation Annotation Baseline Model Algorithmic Transparency Benchmark

浏览完整的人工智能术语表探索所有免费的人工智能指南