Cửa sổ trượt Chú ý
Sự chú ý của cửa sổ trượt hạn chế mỗi mã thông báo chỉ tham dự vào một vùng lân cận có kích thước cố định của các mã thông báo lân cận thay vì toàn bộ chuỗi.
Tổng quan
This cuts the quadratic cost of standard attention down to linear, making long-context models far cheaper to run.
Lặn sâu
Tự chú ý tiêu chuẩn so sánh mọi mã thông báo với mọi mã thông báo khác, do đó, một chuỗi có độ dài N yêu cầu so sánh gần đúng N bình phương. Tính năng chú ý của cửa sổ trượt khắc phục điều này bằng cách cung cấp cho mỗi mã thông báo một cửa sổ có kích thước W (giả sử là 4.096 mã thông báo) và chỉ chú ý đến những hàng xóm bên trong cửa sổ đó. Chi phí tăng theo N lần W thay vì N bình phương. Điều quan trọng là việc xếp chồng nhiều lớp cửa sổ sẽ mở rộng trường tiếp nhận hiệu quả: sau lớp L, thông tin có thể truyền qua khoảng L lần W mã thông báo, giống như trường tiếp nhận đang phát triển của CNN. Mistral 7B đã phổ biến điều này với cửa sổ 4.096 mã thông báo trên 32 lớp, đạt đến khoảng 131K mã thông báo trên lý thuyết. Các mô hình thường kết hợp các lớp cửa sổ với các lớp chú ý đầy đủ để duy trì các liên kết tầm xa.
Hiểu biết kỹ thuật
Trong mặt nạ chú ý, một truy vấn ở vị trí i chỉ được phép xem các khóa từ vị trí i trừ W cộng 1 đến i (trường hợp nhân quả). Mặt nạ thưa thớt này có nghĩa là bộ đệm KV chỉ cần mã thông báo W cuối cùng trên mỗi lớp, cắt giảm bộ nhớ trong quá trình tạo. Bởi vì cửa sổ thay đổi theo từng mã thông báo mới nên nó kết hợp một cách tự nhiên với bộ đệm đệm cuộn để ghi đè các mục nhập cũ nhất thay vì phát triển mãi mãi.
Tác động chiến lược
Tốc độ và tỷ lệ
Quy trình công việc ngôn ngữ có thể di chuyển nhanh hơn mà không làm mất tính nhất quán.
Truy cập và tiếp cận
Nó mở rộng quyền truy cập vào các ngôn ngữ và phong cách giao tiếp.
Quyết định rõ ràng hơn
Các nhóm có thể dành nhiều thời gian hơn để đánh giá trong khi quá trình tự động hóa xử lý sự lặp lại.
Tương lai của sự chú ý của cửa sổ trượt
Các thiết kế kết hợp hiện xen kẽ một số lớp toàn cầu hoặc toàn bộ sự chú ý giữa nhiều lớp cửa sổ trượt, cân bằng hiệu quả với lý luận tầm xa thực sự. Gemma 2 và các khối khác xen kẽ các khối cục bộ và toàn cầu. Mong đợi sự chú ý của cửa sổ kết hợp với các mô hình không gian trạng thái, mức chú ý và nén bộ đệm KV để các mô hình biên giới xử lý bối cảnh hàng triệu mã thông báo mà không có bộ nhớ chạy trốn. Nó đang trở thành một khối xây dựng mặc định chứ không phải là một sự tối ưu hóa kỳ lạ.
Triển khai trong thế giới thực
Mistral 7B sử dụng cửa sổ trượt 4.096 mã thông báo trên các lớp của nó để xử lý các lời nhắc dài với chi phí thấp trên GPU tiêu dùng.
Longformer áp dụng tính năng chú ý theo cửa sổ cộng với một số mã thông báo toàn cầu để phân loại và tóm tắt các tài liệu nhiều trang.
Gemma 2 xen kẽ các lớp cửa sổ trượt cục bộ với các lớp chú ý toàn cầu để cân bằng tốc độ và thu hồi tầm xa.
Bộ đệm KV có bộ đệm cuộn trong trợ lý trò chuyện chỉ giữ lại cửa sổ mã thông báo gần đây nhất, giới hạn bộ nhớ trong các cuộc trò chuyện dài.
Rủi ro & lan can
Sự thật ảo giác có thể lặng lẽ đi vào báo cáo, luồng hỗ trợ hoặc kết quả nghiên cứu.
Sự nhạy cảm kịp thời có thể tạo ra kết quả không nhất quán đối với các yêu cầu tương tự.
Dữ liệu văn bản nhạy cảm có thể bị lộ nếu khả năng kiểm soát quyền truy cập yếu.
Lộ trình thực hiện
Xác định định dạng đầu ra, âm thanh và tiêu chuẩn chất lượng trước khi triển khai.
Phản hồi mặt đất với các nguồn đáng tin cậy bất cứ khi nào độ chính xác quan trọng.
Duy trì điểm kiểm tra đánh giá của con người đối với các kết quả đầu ra có mức độ rủi ro cao.
Theo dõi các kiểu lỗi và đào tạo lại các lời nhắc hoặc quy trình làm việc thường xuyên.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Sliding Window Attention quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Chú ý truy vấn được nhóm
Câu hỏi thường gặp
What is Sliding Window Attention?
Sự chú ý của cửa sổ trượt hạn chế mỗi mã thông báo chỉ tham dự vào một vùng lân cận có kích thước cố định của các mã thông báo lân cận thay vì toàn bộ chuỗi. Điều này cắt giảm chi phí bậc hai của sự chú ý tiêu chuẩn xuống tuyến tính, làm cho việc chạy các mô hình ngữ cảnh dài rẻ hơn nhiều.
Lợi ích tính toán chính của việc chú ý theo cửa sổ trượt so với việc tự chú ý theo tiêu chuẩn là gì?
Bằng cách giới hạn mỗi mã thông báo trong một cửa sổ cố định của W lân cận, chi phí sẽ tăng theo N lần W (tuyến tính tính bằng N) thay vì N bình phương.
Trong thiết kế của Mistral 7B, làm thế nào thông tin vẫn có thể truyền đi xa hơn một cửa sổ 4.096 mã thông báo?
Giống như CNN, mỗi lớp sẽ đẩy thông tin đi xa hơn một cửa sổ, do đó, các lớp L cung cấp khoảng thời gian hiệu quả khoảng L lần W mã thông báo.
Tại sao sự chú ý của cửa sổ trượt làm giảm bộ nhớ trong quá trình tạo văn bản?
Vì mã thông báo chỉ truy cập vào cửa sổ gần đây của nó nên các mục nhập khóa/giá trị cũ hơn có thể bị loại bỏ, thường thông qua bộ đệm đệm cuộn.
Những mô hình như Gemma 2 sử dụng lựa chọn thiết kế nào bên cạnh cửa sổ trượt để duy trì khả năng suy luận tầm xa?
Việc trộn lẫn các lớp toàn cầu/toàn bộ sự chú ý không thường xuyên giữa các lớp cục bộ sẽ duy trì các kết nối khoảng cách xa thực sự mà cửa sổ thuần túy làm suy yếu.
Đối với cửa sổ trượt nhân quả có kích thước W, phím nào có thể truy vấn ở vị trí tôi tham dự?
Trong trường hợp nhân quả, truy vấn sẽ nhìn thấy chính nó và W trừ 1 mã thông báo ngay trước nó, không bao giờ thấy các mã thông báo trong tương lai.