Nhúng vị trí quay
Mã hóa nhúng vị trí quay (RoPE) trong đó mỗi mã thông báo nằm trong một chuỗi bằng cách xoay vectơ truy vấn và khóa của nó theo một góc tỷ lệ với vị trí.
Tổng quan
Thủ thuật hay này cho phép máy biến áp hiểu được khoảng cách tương đối và mở rộng một cách khéo léo đến các bối cảnh dài hơn.
Lặn sâu
Máy biến áp không có sẵn ý thức về trật tự, vì vậy chúng cần thêm thông tin vị trí bằng cách nào đó. Các mô hình ban đầu đã thêm các vectơ hình sin cố định hoặc nhúng vị trí đã học vào đầu vào. RoPE, do Su và các đồng nghiệp đề xuất vào năm 2021, sử dụng một cách tiếp cận khác: thay vì thêm vectơ vị trí, nó xoay các cặp thứ nguyên trong truy vấn và vectơ khóa theo một góc tăng dần theo vị trí của mã thông báo. Khi mô hình tính tích vô hướng giữa một truy vấn ở vị trí m và một khóa ở vị trí n, phép toán sẽ tính ra nên kết quả chỉ phụ thuộc vào khoảng cách tương đối của chúng m trừ n. Điều này mang lại nhận thức về vị trí tương đối thực sự, hoạt động tốt với các hạt chú ý hiệu quả và phân rã sự chú ý một cách trơn tru theo khoảng cách. RoPE hiện được sử dụng trong Llama, Mistral, Qwen và hầu hết các mẫu mở hiện đại nhất.
Hiểu biết kỹ thuật
RoPE xử lý các kích thước nhúng theo cặp và áp dụng phép quay 2D cho mỗi cặp, với các cặp khác nhau quay ở các tần số khác nhau, giống như kim của nhiều đồng hồ đang tích tắc ở các tốc độ khác nhau. Bởi vì việc quay theo vị trí m và sau đó lấy tích chấm có vật được quay theo vị trí n chỉ để lại sự chênh lệch góc, nên điểm chú ý trở thành hàm của vị trí tương đối. Các cặp tần số cao nắm bắt được trật tự cục bộ tốt; cặp tần số thấp nắm bắt vị trí tầm xa. Điều quan trọng là nó sửa đổi các truy vấn và khóa chứ không phải giá trị.
Tác động chiến lược
Tốc độ và tỷ lệ
Quy trình công việc ngôn ngữ có thể di chuyển nhanh hơn mà không làm mất tính nhất quán.
Truy cập và tiếp cận
Nó mở rộng quyền truy cập vào các ngôn ngữ và phong cách giao tiếp.
Quyết định rõ ràng hơn
Các nhóm có thể dành nhiều thời gian hơn để đánh giá trong khi quá trình tự động hóa xử lý sự lặp lại.
Tương lai của việc nhúng vị trí quay
Nhiều công việc gần đây tập trung vào việc mở rộng RoPE sang các bối cảnh lâu hơn so với mô hình đã được đào tạo. Các kỹ thuật như nội suy vị trí, chia tỷ lệ nhận biết NTK và YaRN điều chỉnh tần số quay để mô hình được đào tạo trên mã thông báo 4K có thể xử lý 32K trở lên bằng cách tinh chỉnh ánh sáng. Kỳ vọng RoPE sẽ vẫn là sơ đồ định vị thống trị, với các cải tiến liên tục về tần suất cơ bản và mở rộng quy mô cho bối cảnh hàng triệu mã thông báo, đồng thời tiếp tục nghiên cứu về cách nó tương tác với hành vi chú ý.
Triển khai trong thế giới thực
Cung cấp cho Llama, Mistral và Qwen mô hình hóa ý thức về thứ tự mã thông báo của họ mà không cần nhúng vị trí riêng biệt
Mở rộng bối cảnh có thể sử dụng của mô hình từ vài nghìn lên hàng chục nghìn mã thông báo thông qua phép nội suy hoặc YaRN
Giúp các mô hình mã theo dõi khoảng cách tương đối giữa dấu ngoặc, hàm và tham chiếu trên các tệp dài
Hỗ trợ trả lời câu hỏi tài liệu dài trong đó vị trí tương đối giữa câu hỏi và bằng chứng là quan trọng
Rủi ro & lan can
Sự thật ảo giác có thể lặng lẽ đi vào báo cáo, luồng hỗ trợ hoặc kết quả nghiên cứu.
Sự nhạy cảm kịp thời có thể tạo ra kết quả không nhất quán đối với các yêu cầu tương tự.
Dữ liệu văn bản nhạy cảm có thể bị lộ nếu khả năng kiểm soát quyền truy cập yếu.
Lộ trình thực hiện
Xác định định dạng đầu ra, âm thanh và tiêu chuẩn chất lượng trước khi triển khai.
Phản hồi mặt đất với các nguồn đáng tin cậy bất cứ khi nào độ chính xác quan trọng.
Duy trì điểm kiểm tra đánh giá của con người đối với các kết quả đầu ra có mức độ rủi ro cao.
Theo dõi các kiểu lỗi và đào tạo lại các lời nhắc hoặc quy trình làm việc thường xuyên.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Rotary Position Embeddings quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Xu hướng vị trí ALiBi
Câu hỏi thường gặp
Nhúng vị trí quay là gì?
Mã hóa nhúng vị trí quay (RoPE) trong đó mỗi mã thông báo nằm trong một chuỗi bằng cách xoay vectơ truy vấn và khóa của nó theo một góc tỷ lệ với vị trí. Thủ thuật hay này cho phép người biến đổi hiểu được khoảng cách tương đối và mở rộng một cách khéo léo đến các bối cảnh dài hơn.
RoPE đưa thông tin vị trí vào máy biến áp như thế nào?
RoPE xoay các vectơ truy vấn và khóa theo một góc tỷ lệ với vị trí, thay vì thêm một vectơ vị trí riêng biệt.
RoPE sửa đổi những phần nào của tính toán chú ý?
RoPE áp dụng các phép quay của nó cho các vectơ truy vấn và khóa, giữ nguyên các vectơ giá trị.
Tại sao các cặp kích thước khác nhau lại quay ở các tần số khác nhau trong RoPE?
Giống như kim đồng hồ tích tắc ở các tốc độ khác nhau, tần số khác nhau cho phép một số cặp mã hóa thứ tự tầm ngắn và số khác mã hóa vị trí tầm xa.
Mục tiêu của các kỹ thuật như nội suy vị trí, chia tỷ lệ nhận biết NTK và YaRN là gì?
Các phương pháp này điều chỉnh lại tần số quay của RoPE để mô hình có thể xử lý các bối cảnh dài hơn nhiều so với thời lượng đào tạo ban đầu của nó.