Tiếp theoHướng dẫn tiếp theo
Chú ý truy vấn được nhóm
Ngôn ngữ AI
HƯỚNG DẪN AI về ngôn ngữ
Chú ý nhiều truy vấn (MQA) là một giải pháp tiết kiệm bộ nhớ cho sự chú ý của máy biến áp, chia sẻ một bộ khóa và giá trị trên tất cả các đầu chú ý.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Nó tăng tốc đáng kể việc tạo văn bản bằng cách thu nhỏ bộ nhớ mà mô hình phải xáo trộn xung quanh.
Sự chú ý nhiều đầu tiêu chuẩn cung cấp cho mỗi đầu các dự đoán truy vấn, khóa và giá trị riêng. Trong quá trình tạo, các khóa và giá trị cho tất cả các mã thông báo trước đây phải được lưu vào bộ đệm và tải lại ở mỗi bước — bộ đệm KV này trở thành nút thắt cổ chai chính vì việc đọc nó từ bộ nhớ chậm hơn so với chính phép toán. Chú ý nhiều truy vấn, do Noam Shazeer đề xuất vào năm 2019, giữ các dự đoán truy vấn riêng biệt cho mỗi đầu nhưng thu gọn các khóa và giá trị vào một đầu chung duy nhất. Điều này sẽ thu nhỏ bộ đệm KV theo hệ số bằng số lượng đầu, đôi khi nhỏ hơn từ 8 đến 64 lần. Kết quả là khả năng giải mã tự hồi quy nhanh hơn nhiều và dung lượng bộ nhớ nhẹ hơn mà chất lượng chỉ bị giảm ở mức khiêm tốn. Nền tảng trung gian, Chú ý truy vấn theo nhóm, cân bằng sự đánh đổi.
Tăng tốc quá trình tạo mã thông báo theo mã thông báo trong trợ lý trò chuyện trong đó bộ nhớ đệm KV chứ không phải điện toán thô sẽ hạn chế thông lượng.
PaLM của Google, sử dụng Chú ý nhiều truy vấn để cho phép suy luận quy mô lớn hiệu quả.
Phục vụ nhiều người dùng đồng thời trên một GPU bằng cách thu nhỏ bộ nhớ đệm KV theo yêu cầu.
Chú ý truy vấn được nhóm trong Llama 2 70B và Llama 3, một thế hệ con cháu trực tiếp cân bằng tốc độ của MQA với chất lượng chú ý đầy đủ.
MQA đã chứng minh rằng bạn có thể loại bỏ các đầu khóa/giá trị dư thừa mà ít gây hại và thông tin chi tiết đó giờ đây định hình gần như mọi LLM suy luận nhanh. Trường này phần lớn tập trung vào Chú ý truy vấn theo nhóm (GQA), được sử dụng trong Llama 2/3 và nhiều nhóm khác, sử dụng một số nhóm KV thay vì một nhóm để khôi phục chất lượng trong khi vẫn duy trì phần lớn tốc độ. Công việc trong tương lai sẽ kết hợp những ý tưởng này với tính năng nén, lượng tử hóa bộ nhớ đệm KV và sự chú ý đa tiềm ẩn để thúc đẩy các bối cảnh dài hơn và cung cấp dịch vụ rẻ hơn.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Chú ý nhiều truy vấn (MQA) là một giải pháp tiết kiệm bộ nhớ cho sự chú ý của máy biến áp, chia sẻ một bộ khóa và giá trị trên tất cả các đầu chú ý. Nó tăng tốc đáng kể việc tạo văn bản bằng cách thu nhỏ bộ nhớ mà mô hình phải xáo trộn xung quanh.
MQA giữ các truy vấn riêng biệt cho mỗi đầu nhưng chia sẻ một phép chiếu chính và một phép chiếu giá trị trên tất cả các đầu.
Tải lại bộ nhớ đệm KV lớn mỗi bước đều bị giới hạn băng thông; MQA thu nhỏ bộ đệm đó để tăng tốc độ giải mã.
Vì các khóa và giá trị thu gọn từ đầu H thành một, bộ nhớ đệm sẽ co lại xấp xỉ số lượng đầu.
Việc chia sẻ khóa và giá trị làm giảm nhẹ khả năng biểu diễn, gây ra sự giảm chất lượng nhỏ để đổi lấy tốc độ tăng lớn.
Chú ý truy vấn theo nhóm (GQA) sử dụng một số nhóm KV thay vì một, cân bằng chất lượng và tốc độ.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Chú ý truy vấn được nhóm
Ngôn ngữ AI