Chú ý nhiều truy vấn
Chú ý nhiều truy vấn (MQA) là một giải pháp tiết kiệm bộ nhớ cho sự chú ý của máy biến áp, chia sẻ một bộ khóa và giá trị trên tất cả các đầu chú ý.
Tổng quan
It dramatically speeds up text generation by shrinking the memory the model must shuffle around.
Lặn sâu
Sự chú ý nhiều đầu tiêu chuẩn cung cấp cho mỗi đầu các dự đoán truy vấn, khóa và giá trị riêng. Trong quá trình tạo, các khóa và giá trị cho tất cả các mã thông báo trước đây phải được lưu vào bộ đệm và tải lại ở mỗi bước — bộ đệm KV này trở thành nút thắt cổ chai chính vì việc đọc nó từ bộ nhớ chậm hơn so với chính phép toán. Chú ý nhiều truy vấn, do Noam Shazeer đề xuất vào năm 2019, giữ các dự đoán truy vấn riêng biệt cho mỗi đầu nhưng thu gọn các khóa và giá trị vào một đầu chung duy nhất. Điều này sẽ thu nhỏ bộ đệm KV theo hệ số bằng số lượng đầu, đôi khi nhỏ hơn từ 8 đến 64 lần. Kết quả là khả năng giải mã tự hồi quy nhanh hơn nhiều và dung lượng bộ nhớ nhẹ hơn mà chất lượng chỉ bị giảm ở mức khiêm tốn. Nền tảng trung gian, Chú ý truy vấn theo nhóm, cân bằng sự đánh đổi.
Hiểu biết kỹ thuật
Trong MQA, trọng số truy vấn vẫn tạo ra H vectơ truy vấn riêng biệt, nhưng một phép chiếu khóa duy nhất và phép chiếu giá trị duy nhất được chia sẻ trên tất cả các đầu. Mỗi đầu tính toán sự chú ý bằng cách sử dụng truy vấn riêng của nó dựa trên các khóa và giá trị giống nhau. Bởi vì các tenxơ K và V được lưu trong bộ nhớ đệm không còn tỷ lệ theo số lượng đầu, băng thông bộ nhớ trong quá trình giải mã giảm mạnh — và băng thông, chứ không phải tính toán, mới là tốc độ tạo cổng trên các máy gia tốc hiện đại.
Tác động chiến lược
Tốc độ và tỷ lệ
Quy trình công việc ngôn ngữ có thể di chuyển nhanh hơn mà không làm mất tính nhất quán.
Truy cập và tiếp cận
Nó mở rộng quyền truy cập vào các ngôn ngữ và phong cách giao tiếp.
Quyết định rõ ràng hơn
Các nhóm có thể dành nhiều thời gian hơn để đánh giá trong khi quá trình tự động hóa xử lý sự lặp lại.
Tương lai của sự chú ý nhiều truy vấn
MQA đã chứng minh rằng bạn có thể loại bỏ các đầu khóa/giá trị dư thừa mà ít gây hại và thông tin chi tiết đó giờ đây định hình gần như mọi LLM suy luận nhanh. Trường này phần lớn tập trung vào Chú ý truy vấn theo nhóm (GQA), được sử dụng trong Llama 2/3 và nhiều nhóm khác, sử dụng một số nhóm KV thay vì một nhóm để khôi phục chất lượng trong khi vẫn duy trì phần lớn tốc độ. Công việc trong tương lai sẽ kết hợp những ý tưởng này với tính năng nén, lượng tử hóa bộ nhớ đệm KV và sự chú ý đa tiềm ẩn để thúc đẩy các bối cảnh dài hơn và cung cấp dịch vụ rẻ hơn.
Triển khai trong thế giới thực
Tăng tốc quá trình tạo mã thông báo theo mã thông báo trong trợ lý trò chuyện trong đó bộ nhớ đệm KV chứ không phải điện toán thô sẽ hạn chế thông lượng.
PaLM của Google, sử dụng Chú ý nhiều truy vấn để cho phép suy luận quy mô lớn hiệu quả.
Phục vụ nhiều người dùng đồng thời trên một GPU bằng cách thu nhỏ bộ nhớ đệm KV theo yêu cầu.
Chú ý truy vấn được nhóm trong Llama 2 70B và Llama 3, một thế hệ con cháu trực tiếp cân bằng tốc độ của MQA với chất lượng chú ý đầy đủ.
Rủi ro & lan can
Sự thật ảo giác có thể lặng lẽ đi vào báo cáo, luồng hỗ trợ hoặc kết quả nghiên cứu.
Sự nhạy cảm kịp thời có thể tạo ra kết quả không nhất quán đối với các yêu cầu tương tự.
Dữ liệu văn bản nhạy cảm có thể bị lộ nếu khả năng kiểm soát quyền truy cập yếu.
Lộ trình thực hiện
Xác định định dạng đầu ra, âm thanh và tiêu chuẩn chất lượng trước khi triển khai.
Phản hồi mặt đất với các nguồn đáng tin cậy bất cứ khi nào độ chính xác quan trọng.
Duy trì điểm kiểm tra đánh giá của con người đối với các kết quả đầu ra có mức độ rủi ro cao.
Theo dõi các kiểu lỗi và đào tạo lại các lời nhắc hoặc quy trình làm việc thường xuyên.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Multi-Query Attention quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Chú ý truy vấn được nhóm
Câu hỏi thường gặp
What is Multi-Query Attention?
Chú ý nhiều truy vấn (MQA) là một giải pháp tiết kiệm bộ nhớ cho sự chú ý của máy biến áp, chia sẻ một bộ khóa và giá trị trên tất cả các đầu chú ý. Nó tăng tốc đáng kể việc tạo văn bản bằng cách thu nhỏ bộ nhớ mà mô hình phải xáo trộn xung quanh.
Chú ý nhiều truy vấn chia sẻ điều gì trên tất cả các đầu chú ý?
MQA giữ các truy vấn riêng biệt cho mỗi đầu nhưng chia sẻ một phép chiếu chính và một phép chiếu giá trị trên tất cả các đầu.
Nút thắt chính mà MQA giải quyết trong quá trình tạo tự hồi quy là gì?
Tải lại bộ nhớ đệm KV lớn mỗi bước đều bị giới hạn băng thông; MQA thu nhỏ bộ đệm đó để tăng tốc độ giải mã.
MQA thu nhỏ bộ đệm KV theo yếu tố nào?
Vì các khóa và giá trị thu gọn từ đầu H thành một, bộ nhớ đệm sẽ co lại xấp xỉ số lượng đầu.
Sự đánh đổi chính của việc sử dụng MQA là gì?
Việc chia sẻ khóa và giá trị làm giảm nhẹ khả năng biểu diễn, gây ra sự giảm chất lượng nhỏ để đổi lấy tốc độ tăng lớn.
Biến thể nào nằm giữa sự chú ý nhiều đầu tiêu chuẩn và MQA?
Chú ý truy vấn theo nhóm (GQA) sử dụng một số nhóm KV thay vì một, cân bằng chất lượng và tốc độ.