旋轉位置嵌入
旋轉位置嵌入 (RoPE) 透過將查詢向量和鍵向量旋轉與位置成比例的角度，對每個標記在序列中的位置進行編碼。
概述
This elegant trick lets transformers understand relative distances and extend gracefully to longer contexts.
深入探討
變形金剛沒有內建的順序感，因此它們需要以某種方式添加位置資訊。早期模型在輸入中加入了固定的正弦向量或學習的位置嵌入。 Su 及其同事在 2021 年提出的 RoPE 採用了不同的方法：它不是添加位置向量，而是將查詢和鍵向量中的維度對旋轉一個角度，隨著令牌的位置而增長。當模型計算位置 m 處的查詢和位置 n 處的鍵之間的點積時，數學會計算出來，因此結果只取決於它們的相對距離 m 減去 n。這提供了真正的相對位置意識，與高效的注意力內核很好地配合，並隨著距離平滑地衰減注意力。 RoPE 現在用於 Llama、Mistral、Qwen 和大多數現代開放式型號。
技術洞察
RoPE 成對處理嵌入尺寸，並對每對施加 2D 旋轉，不同的對以不同的頻率旋轉，就像許多時鐘的指針以不同的速度滴答作響。因為旋轉位置 m，然後與旋轉位置 n 的物體進行點積，僅留下角度差，因此註意力分數成為相對位置的函數。高頻對捕捉精細的局部秩序；低頻對捕獲遠端位置。至關重要的是，它修改查詢和鍵，而不是值。
戰略影響
速度與規模
語言工作流程可以在不犧牲一致性的情況下更快地移動。
交通與覆蓋範圍
它擴展了跨語言和溝通方式的訪問。
更明確的決策
團隊可以花更多時間進行判斷，而自動化則可以處理重複。
旋轉位置嵌入的未來
最近的許多工作都集中在將 RoPE 擴展到比模型訓練時間更長的環境中。位置插值、NTK 感知縮放和 YaRN 等技術可調整旋轉頻率，因此在 4K 令牌上訓練的模型可以透過輕微微調處理 32K 或更多。預計 RoPE 仍將佔據主導地位，不斷改進其基頻和針對百萬代幣上下文的擴展，並繼續研究它如何與注意力行為相互作用。
現實世界的實施
為 Llama、Mistral 和 Qwen 建模它們的 token 順序感，無需單獨的位置嵌入
透過插值或 YaRN 將模型的可用上下文從數千個標記擴展到數萬個標記
幫助程式碼模型追蹤長文件中括號、函數和引用之間的相對距離
在問題和證據之間的相對位置很重要的情況下支持長文檔問答
風險與防護欄
幻覺的事實可以悄悄地進入報告、支持流程或研究成果。
及時的敏感性可能會在類似的請求中產生不一致的結果。
如果存取控制薄弱，敏感文字資料可能會暴露。
實施路線圖
在推出之前定義輸出格式、語氣和品質標準。
當準確性很重要時，請使用可信任來源進行地面回應。
為高風險輸出保留人工審查檢查點。
追蹤故障模式並定期重新訓練提示或工作流程。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Rotary Position Embeddings quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is Rotary Position Embeddings?
旋轉位置嵌入 (RoPE) 透過將查詢向量和鍵向量旋轉與位置成比例的角度，對每個標記在序列中的位置進行編碼。這個優雅的技巧讓 Transformer 理解相對距離並優雅地擴展到更長的上下文。
RoPE 如何將位置資訊注入變壓器？
RoPE 將查詢向量和金鑰向量旋轉與位置成比例的角度，而不是添加單獨的位置向量。
RoPE 修改了注意力計算的哪些部分？
RoPE 將其旋轉應用於查詢和鍵向量，而保持值向量不變。
為什麼不同維度對在 RoPE 中以不同頻率旋轉？
就像時鐘指針以不同的速度滴答作響一樣，不同的頻率讓一些對編碼短程順序，而另一些對編碼長程位置。
位置內插、NTK 感知縮放和 YaRN 等技術的目標是什麼？
這些方法重新調整 RoPE 的旋轉頻率，以便模型可以處理比原始訓練長度更長的上下文。