HƯỚNG DẪN AI về ngôn ngữ

Chú ý nhiều truy vấn

Chú ý nhiều truy vấn (MQA) là một giải pháp tiết kiệm bộ nhớ cho sự chú ý của máy biến áp, chia sẻ một bộ khóa và giá trị trên tất cả các đầu chú ý.

Nghe hướng dẫn nàyAI thuật lại · ~2 min

Trên trang nàyĐọc trong 2 phút
  1. Tổng quan
  2. Lặn sâu
  3. Triển khai trong thế giới thực
  4. Tương lai của sự chú ý nhiều truy vấn
  5. Đưa nó vào thực tế
  6. Tiếp tục khám phá
  7. Câu hỏi thường gặp

Tổng quan

Nó tăng tốc đáng kể việc tạo văn bản bằng cách thu nhỏ bộ nhớ mà mô hình phải xáo trộn xung quanh.

Lặn sâu

Sự chú ý nhiều đầu tiêu chuẩn cung cấp cho mỗi đầu các dự đoán truy vấn, khóa và giá trị riêng. Trong quá trình tạo, các khóa và giá trị cho tất cả các mã thông báo trước đây phải được lưu vào bộ đệm và tải lại ở mỗi bước — bộ đệm KV này trở thành nút thắt cổ chai chính vì việc đọc nó từ bộ nhớ chậm hơn so với chính phép toán. Chú ý nhiều truy vấn, do Noam Shazeer đề xuất vào năm 2019, giữ các dự đoán truy vấn riêng biệt cho mỗi đầu nhưng thu gọn các khóa và giá trị vào một đầu chung duy nhất. Điều này sẽ thu nhỏ bộ đệm KV theo hệ số bằng số lượng đầu, đôi khi nhỏ hơn từ 8 đến 64 lần. Kết quả là khả năng giải mã tự hồi quy nhanh hơn nhiều và dung lượng bộ nhớ nhẹ hơn mà chất lượng chỉ bị giảm ở mức khiêm tốn. Nền tảng trung gian, Chú ý truy vấn theo nhóm, cân bằng sự đánh đổi.

Triển khai trong thế giới thực

Tăng tốc quá trình tạo mã thông báo theo mã thông báo trong trợ lý trò chuyện trong đó bộ nhớ đệm KV chứ không phải điện toán thô sẽ hạn chế thông lượng.

PaLM của Google, sử dụng Chú ý nhiều truy vấn để cho phép suy luận quy mô lớn hiệu quả.

Phục vụ nhiều người dùng đồng thời trên một GPU bằng cách thu nhỏ bộ nhớ đệm KV theo yêu cầu.

Chú ý truy vấn được nhóm trong Llama 2 70B và Llama 3, một thế hệ con cháu trực tiếp cân bằng tốc độ của MQA với chất lượng chú ý đầy đủ.

Tương lai của sự chú ý nhiều truy vấn

MQA đã chứng minh rằng bạn có thể loại bỏ các đầu khóa/giá trị dư thừa mà ít gây hại và thông tin chi tiết đó giờ đây định hình gần như mọi LLM suy luận nhanh. Trường này phần lớn tập trung vào Chú ý truy vấn theo nhóm (GQA), được sử dụng trong Llama 2/3 và nhiều nhóm khác, sử dụng một số nhóm KV thay vì một nhóm để khôi phục chất lượng trong khi vẫn duy trì phần lớn tốc độ. Công việc trong tương lai sẽ kết hợp những ý tưởng này với tính năng nén, lượng tử hóa bộ nhớ đệm KV và sự chú ý đa tiềm ẩn để thúc đẩy các bối cảnh dài hơn và cung cấp dịch vụ rẻ hơn.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Tốc độ và tỷ lệ. Quy trình công việc ngôn ngữ có thể di chuyển nhanh hơn mà không làm mất tính nhất quán.
  • Truy cập và tiếp cận. Nó mở rộng quyền truy cập vào các ngôn ngữ và phong cách giao tiếp.
  • Quyết định rõ ràng hơn. Các nhóm có thể dành nhiều thời gian hơn để đánh giá trong khi quá trình tự động hóa xử lý sự lặp lại.

coi chừng

  • Sự thật ảo giác có thể lặng lẽ đi vào báo cáo, luồng hỗ trợ hoặc kết quả nghiên cứu.
  • Sự nhạy cảm kịp thời có thể tạo ra kết quả không nhất quán đối với các yêu cầu tương tự.
  • Dữ liệu văn bản nhạy cảm có thể bị lộ nếu khả năng kiểm soát quyền truy cập yếu.

Các bước tiếp theo

  1. Xác định định dạng đầu ra, âm thanh và tiêu chuẩn chất lượng trước khi triển khai.
  2. Phản hồi mặt đất với các nguồn đáng tin cậy bất cứ khi nào độ chính xác quan trọng.
  3. Duy trì điểm kiểm tra đánh giá của con người đối với các kết quả đầu ra có mức độ rủi ro cao.
  4. Theo dõi các kiểu lỗi và đào tạo lại các lời nhắc hoặc quy trình làm việc thường xuyên.

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Làm bài kiểm tra Chú ý nhiều truy vấn

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

Chú ý nhiều truy vấn là gì?

Chú ý nhiều truy vấn (MQA) là một giải pháp tiết kiệm bộ nhớ cho sự chú ý của máy biến áp, chia sẻ một bộ khóa và giá trị trên tất cả các đầu chú ý. Nó tăng tốc đáng kể việc tạo văn bản bằng cách thu nhỏ bộ nhớ mà mô hình phải xáo trộn xung quanh.

Chú ý nhiều truy vấn chia sẻ điều gì trên tất cả các đầu chú ý?

MQA giữ các truy vấn riêng biệt cho mỗi đầu nhưng chia sẻ một phép chiếu chính và một phép chiếu giá trị trên tất cả các đầu.

Nút thắt chính mà MQA giải quyết trong quá trình tạo tự hồi quy là gì?

Tải lại bộ nhớ đệm KV lớn mỗi bước đều bị giới hạn băng thông; MQA thu nhỏ bộ đệm đó để tăng tốc độ giải mã.

MQA thu nhỏ bộ đệm KV theo yếu tố nào?

Vì các khóa và giá trị thu gọn từ đầu H thành một, bộ nhớ đệm sẽ co lại xấp xỉ số lượng đầu.

Sự đánh đổi chính của việc sử dụng MQA là gì?

Việc chia sẻ khóa và giá trị làm giảm nhẹ khả năng biểu diễn, gây ra sự giảm chất lượng nhỏ để đổi lấy tốc độ tăng lớn.

Biến thể nào nằm giữa sự chú ý nhiều đầu tiêu chuẩn và MQA?

Chú ý truy vấn theo nhóm (GQA) sử dụng một số nhóm KV thay vì một, cân bằng chất lượng và tốc độ.