旋转位置嵌入

This elegant trick lets transformers understand relative distances and extend gracefully to longer contexts.

变形金刚没有内置的顺序感，因此它们需要以某种方式添加位置信息。早期模型在输入中添加了固定的正弦向量或学习的位置嵌入。 Su 及其同事于 2021 年提出的 RoPE 采用了不同的方法：它不是添加位置向量，而是将查询和密钥向量中的维度对旋转一个角度，该角度随着令牌的位置而增长。当模型计算位置 m 处的查询和位置 n 处的键之间的点积时，数学会计算出来，因此结果仅取决于它们的相对距离 m 减去 n。这提供了真正的相对位置意识，与高效的注意力内核很好地配合，并随着距离平滑地衰减注意力。 RoPE 现在用于 Llama、Mistral、Qwen 和大多数现代开放式型号。