การฝังตำแหน่งโรตารี

This elegant trick lets transformers understand relative distances and extend gracefully to longer contexts.

หม้อแปลงไฟฟ้าไม่มีความรู้สึกถึงลำดับในตัว ดังนั้นจึงจำเป็นต้องเพิ่มข้อมูลตำแหน่งด้วยวิธีใดวิธีหนึ่ง โมเดลแรกๆ เพิ่มเวกเตอร์ไซน์ซอยด์คงที่หรือการเรียนรู้ตำแหน่งที่ฝังลงในอินพุต RoPE ซึ่งเสนอโดย Su และเพื่อนร่วมงานในปี 2021 ใช้แนวทางที่แตกต่างออกไป แทนที่จะเพิ่มเวกเตอร์ตำแหน่ง มันจะหมุนคู่ของมิติข้อมูลในการสืบค้นและเวกเตอร์คีย์ตามมุมที่ขยายตามตำแหน่งของโทเค็น เมื่อแบบจำลองคำนวณผลคูณดอทระหว่างแบบสอบถามที่ตำแหน่ง m และคีย์ที่ตำแหน่ง n คณิตศาสตร์จะได้ผล ดังนั้นผลลัพธ์จะขึ้นอยู่กับระยะทางสัมพัทธ์ m ลบ n เท่านั้น สิ่งนี้ทำให้มีการรับรู้ถึงตำแหน่งสัมพัทธ์อย่างแท้จริง เล่นได้ดีกับแกนกลางของความสนใจที่มีประสิทธิภาพ และลดความสนใจลงได้อย่างราบรื่นตามระยะทาง ปัจจุบัน RoPE ใช้ใน Llama, Mistral, Qwen และรุ่นเปิดที่ทันสมัยที่สุด