人工智能术语

什么是多头注意力？

定义

一种并行运行多个注意力操作以捕获不同类型关系的转换器机制。

浏览完整的人工智能术语表探索所有免费的人工智能指南

相关术语

变压器一种神经架构，利用注意力并行地对序列之间的关系进行建模。多查询检索一种检索技术，将用户查询重写为多个变体以提高召回率。注意力机制生成输出时动态关注输入的相关部分的模型组件。闪光注意一种优化的注意力算法，可减少内存使用并加速 Transformer 训练和推理。多式联运模型可以处理或生成文本、图像和音频等多种数据类型的模型。知识图谱用于推理或检索的实体和关系的图形结构。

在我们的免费指南中了解更多信息

Multilingual LLMsMultimodal SearchHard Parameter Sharing in Multi-Task NetworksAttention Rollout and Head Pruning

参见

Positional EncodingQLoRARoPE (Rotary Positional Embeddings)DPO (Direct Preference Optimization)ALiBiTree of ThoughtsSliding Window AttentionReAct