什么是RoPE（旋转位置嵌入）？定义 | AI Understanding

定义

一种位置编码方法，可旋转查询向量和键向量以对相对标记位置进行编码。

相关术语

添加到标记嵌入的信息，以便转换器可以区分序列顺序。

一种位置偏差方法，根据标记距离惩罚注意力分数，帮助模型推断更长的上下文。

一种检索方法，可生成多个查询变体、检索每个查询变体的结果并融合排名。

ANN（近似最近邻）

无需进行详尽比较即可找到接近查询的向量的算法，以准确性换取速度。

RAG（检索增强生成）

一种检索外部知识并在推理时将其输入生成的方法。

根据人类反馈进行强化学习 (RLHF)

一种使用人类偏好信号来塑造模型行为的训练方法。

在我们的免费指南中了解更多信息

Audio Embeddings and Representation Learning Sentence-BERT Embeddings X-Vector Speaker Embeddings HyDE Hypothetical Document Embeddings

参见

Multi-Head Attention Sliding Window Attention Flash Attention BPE (Byte Pair Encoding)QLoRA SentencePiece DPO (Direct Preference Optimization)Tree of Thoughts

浏览完整的人工智能术语表探索所有免费的人工智能指南