人工智能术语

什么是RoPE（旋转位置嵌入）？

定义

一种位置编码方法，可旋转查询向量和键向量以对相对标记位置进行编码。

浏览完整的人工智能术语表探索所有免费的人工智能指南

相关术语

位置编码添加到标记嵌入的信息，以便转换器可以区分序列顺序。铝锂一种位置偏差方法，根据标记距离惩罚注意力分数，帮助模型推断更长的上下文。RAG-融合一种检索方法，可生成多个查询变体、检索每个查询变体的结果并融合排名。ANN（近似最近邻）无需进行详尽比较即可找到接近查询的向量的算法，以准确性换取速度。RAG（检索增强生成）一种检索外部知识并在推理时将其输入生成的方法。根据人类反馈进行强化学习 (RLHF)一种使用人类偏好信号来塑造模型行为的训练方法。

在我们的免费指南中了解更多信息

Audio Embeddings and Representation LearningSentence-BERT EmbeddingsX-Vector Speaker EmbeddingsHyDE Hypothetical Document Embeddings

参见

Multi-Head AttentionSliding Window AttentionFlash AttentionBPE (Byte Pair Encoding)QLoRASentencePieceDPO (Direct Preference Optimization)Tree of Thoughts