Chú ý truy vấn được nhóm
Chú ý truy vấn theo nhóm (GQA) là một cách để thu nhỏ bộ nhớ cần thiết trong quá trình tạo văn bản bằng cách cho phép một số đầu truy vấn chia sẻ cùng một đầu khóa và giá trị.
Tổng quan
It makes large models much faster to serve with almost no quality loss.
Lặn sâu
Trong lớp chú ý nhiều đầu tiêu chuẩn, mỗi đầu đều có truy vấn, khóa và giá trị riêng. Trong quá trình tạo, các khóa và giá trị cho tất cả các mã thông báo trước đó sẽ được lưu vào bộ đệm ('bộ đệm KV') để mô hình không tính toán lại chúng. Với nhiều đầu và ngữ cảnh dài, bộ đệm này trở nên khổng lồ và chiếm ưu thế về băng thông bộ nhớ tại thời điểm suy luận. GQA, được giới thiệu bởi các nhà nghiên cứu Google vào năm 2023, nhóm các đầu truy vấn và cung cấp cho mỗi nhóm một bộ đầu khóa và giá trị chung duy nhất. Nếu bạn có 32 đầu truy vấn nhưng chỉ có 8 nhóm KV thì bộ đệm KV sẽ co lại khoảng bốn lần. Điều này nằm giữa sự chú ý hoàn toàn của nhiều đầu (mỗi đầu riêng biệt) và sự chú ý nhiều truy vấn (một KV dùng chung cho tất cả các đầu), nắm bắt hầu hết tốc độ của MQA trong khi vẫn giữ chất lượng gần với sự chú ý hoàn toàn. Llama 2 70B và nhiều mẫu sau này đã áp dụng nó.
Hiểu biết kỹ thuật
Chất lượng chú ý phụ thuộc rất nhiều vào việc có nhiều hướng truy vấn riêng biệt nhưng nó cho phép chia sẻ khóa và giá trị. GQA khai thác sự bất đối xứng này: nó giữ tất cả các đầu truy vấn nhưng sao chép từng đầu KV được chia sẻ trên các truy vấn trong nhóm của nó. Khoản tiết kiệm đến từ suy luận, trong đó bộ đệm KV là nơi tiêu thụ băng thông bộ nhớ chính; ít đầu KV hơn có nghĩa là sẽ có ít dữ liệu hơn để đọc trên mỗi mã thông báo được tạo. Các mô hình thường được 'đào tạo nâng cấp' trong thời gian ngắn để chuyển đổi điểm kiểm tra nhiều đầu hiện có thành điểm kiểm tra GQA.
Tác động chiến lược
Tốc độ và tỷ lệ
Quy trình công việc ngôn ngữ có thể di chuyển nhanh hơn mà không làm mất tính nhất quán.
Truy cập và tiếp cận
Nó mở rộng quyền truy cập vào các ngôn ngữ và phong cách giao tiếp.
Quyết định rõ ràng hơn
Các nhóm có thể dành nhiều thời gian hơn để đánh giá trong khi quá trình tự động hóa xử lý sự lặp lại.
Tương lai của sự chú ý truy vấn theo nhóm
GQA hiện là mặc định tiêu chuẩn trong các mô hình trọng lượng mở vì nó đánh đổi một cách rõ ràng một chi phí chất lượng rất nhỏ để có được những chiến thắng giao bóng lớn. Hy vọng nó sẽ kết hợp ngày càng nhiều với các thủ thuật hiệu quả khác như FlashAttention, lượng tử hóa bộ đệm KV và các sơ đồ mới hơn như chú ý tiềm ẩn nhiều đầu giúp nén bộ đệm hơn nữa. Khi cửa sổ ngữ cảnh phát triển, việc kiểm soát kích thước bộ đệm KV sẽ vẫn là vấn đề thiết kế trọng tâm và việc chia sẻ đầu theo kiểu GQA sẽ vẫn là đòn bẩy chính.
Triển khai trong thế giới thực
Llama 2 70B và Llama 3 sử dụng GQA để phục vụ các bối cảnh dài với bộ đệm KV nhỏ hơn
Giảm bộ nhớ GPU để mô hình trò chuyện lớn phù hợp với ít bộ tăng tốc hơn hoặc rẻ hơn
Tăng tốc quá trình tạo mã thông báo theo mã thông báo trong API sản xuất trong đó băng thông bộ đệm KV là nút thắt cổ chai
Kích hoạt kích thước lô lớn hơn để phục vụ nhiều người dùng cùng lúc mà không làm cạn kiệt bộ nhớ
Rủi ro & lan can
Sự thật ảo giác có thể lặng lẽ đi vào báo cáo, luồng hỗ trợ hoặc kết quả nghiên cứu.
Sự nhạy cảm kịp thời có thể tạo ra kết quả không nhất quán đối với các yêu cầu tương tự.
Dữ liệu văn bản nhạy cảm có thể bị lộ nếu khả năng kiểm soát quyền truy cập yếu.
Lộ trình thực hiện
Xác định định dạng đầu ra, âm thanh và tiêu chuẩn chất lượng trước khi triển khai.
Phản hồi mặt đất với các nguồn đáng tin cậy bất cứ khi nào độ chính xác quan trọng.
Duy trì điểm kiểm tra đánh giá của con người đối với các kết quả đầu ra có mức độ rủi ro cao.
Theo dõi các kiểu lỗi và đào tạo lại các lời nhắc hoặc quy trình làm việc thường xuyên.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Grouped-Query Attention quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Chú ý nhiều truy vấn
Câu hỏi thường gặp
What is Grouped-Query Attention?
Chú ý truy vấn theo nhóm (GQA) là một cách để thu nhỏ bộ nhớ cần thiết trong quá trình tạo văn bản bằng cách cho phép một số đầu truy vấn chia sẻ cùng một đầu khóa và giá trị. Nó làm cho các mô hình lớn được phục vụ nhanh hơn nhiều mà hầu như không làm giảm chất lượng.
Trong Chú ý truy vấn theo nhóm, điều gì được chia sẻ giữa một nhóm đầu truy vấn?
GQA giữ các đầu truy vấn riêng biệt nhưng cho phép mỗi nhóm chia sẻ một bộ đầu khóa và giá trị, thu nhỏ bộ đệm KV.
GQA được mô tả tốt nhất là điểm trung gian giữa hai thái cực nào?
Nhiều đầu cung cấp cho mỗi đầu KV riêng; nhiều truy vấn chia sẻ một KV cho tất cả các đầu; GQA nằm giữa một số nhóm KV.
GQA chủ yếu làm cho phần suy luận nào rẻ hơn?
Khoản tiết kiệm được hiển thị tại thời điểm tạo, trong đó việc đọc bộ đệm KV là chi phí băng thông bộ nhớ chiếm ưu thế.
Nếu một mô hình có 32 đầu truy vấn và 8 nhóm KV thì bộ nhớ đệm KV sẽ giảm khoảng bao nhiêu?
32 đầu truy vấn được chia cho 8 nhóm KV dùng chung giúp giảm gần bốn lần số khóa và giá trị được lưu trong bộ nhớ đệm.
Tại sao GQA có thể bảo toàn phần lớn chất lượng của mô hình dù dùng chung đầu KV?
Sự chú ý chấp nhận việc chia sẻ khóa và giá trị tốt hơn nhiều so với việc mất các hướng truy vấn riêng biệt, do đó GQA duy trì chất lượng cao.