Tiếp theoHướng dẫn tiếp theo
Quyền riêng tư khác biệt
kỹ thuật
HƯỚNG DẪN KỸ THUẬT
PagedChú ý và vLLM
PagedAttention quản lý bộ nhớ đệm key/value của mô hình transformer bằng các khối có kích thước cố định được ánh xạ từ các vị trí token logic.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
Điều này làm giảm lãng phí phân bổ bộ nhớ đệm và hỗ trợ chia sẻ, trong khi thông lượng thực tế của vLLM phụ thuộc vào khối lượng công việc và hệ thống.
Lặn sâu
Khi một mô hình ngôn ngữ tạo văn bản, nó sẽ giữ một 'bộ đệm KV' (vectơ khóa và giá trị) cho mọi mã thông báo mà nó đã thấy để mã thông báo tiếp theo có thể tham gia vào ngữ cảnh đầy đủ. Theo truyền thống, mỗi yêu cầu dành riêng một khối bộ nhớ GPU lớn liền kề có kích thước tối đa có thể, gây lãng phí số lượng lớn khi các chuỗi ngắn hơn hoặc có độ dài khác nhau. PagedAttention, được giới thiệu trong bài báo vLLM năm 2023 của UC Berkeley, mượn ý tưởng phân trang bộ nhớ ảo từ hệ điều hành: nó chia bộ đệm KV thành các khối có kích thước cố định có thể tồn tại ở bất kỳ đâu trong bộ nhớ và được phân bổ theo yêu cầu. Bảng tra cứu ánh xạ các vị trí mã thông báo logic tới các khối vật lý. Điều này gần như loại bỏ sự phân mảnh bộ nhớ và cho phép chia sẻ các khối, chẳng hạn như trên nhiều đầu ra từ cùng một dấu nhắc.
Triển khai trong thế giới thực
Lưu trữ API LLM nguồn mở trong đó vLLM phục vụ nhiều người dùng trò chuyện đồng thời từ một GPU với thông lượng cao
Chia sẻ lời nhắc hệ thống dài qua hàng nghìn yêu cầu thông qua bộ nhớ đệm tiền tố để yêu cầu được xử lý một lần chứ không phải lặp lại
Chạy tìm kiếm chùm hoặc nhiều lần hoàn thành được lấy mẫu chia sẻ các khối KV cho lời nhắc chung thông qua tính năng sao chép khi ghi
Giảm lãng phí bộ nhớ GPU do phân mảnh để nhà cung cấp có thể đóng gói nhiều phiên đồng thời hơn trên cùng một phần cứng
Tương lai của PagedAttention và vLLM
vLLM đã trở thành xương sống suy luận nguồn mở mặc định và các ý tưởng của PagedAttention hiện xuất hiện trên hầu hết các ngăn xếp phân phát. Yêu cầu bộ nhớ đệm tiền tố sâu hơn (sử dụng lại lời nhắc hệ thống được lưu trong bộ nhớ đệm cho nhiều người dùng), điền trước và giải mã được phân tách trên các máy riêng biệt, chính sách trục xuất thông minh hơn và tích hợp chặt chẽ với lượng tử hóa và giải mã suy đoán. Khi cửa sổ ngữ cảnh phát triển thành hàng triệu mã thông báo, việc quản lý KV phân trang hiệu quả càng trở nên quan trọng hơn để duy trì việc phân phát ở mức giá phải chăng.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Chi phí và ngân sách. Các quyết định về kiến trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
- Quyết định rõ ràng hơn. Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
- Kiểm soát chất lượng. Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.
coi chừng
- Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
- Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
- Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.
Các bước tiếp theo
- Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
- Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
- Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
- Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Làm bài kiểm tra về PagedAttention và vLLM
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
PagedAttention và vLLM là gì?
PagedAttention quản lý bộ nhớ đệm key/value của mô hình transformer bằng các khối có kích thước cố định được ánh xạ từ các vị trí token logic. Điều này làm giảm lãng phí phân bổ bộ nhớ đệm và hỗ trợ chia sẻ, trong khi thông lượng thực tế của vLLM phụ thuộc vào khối lượng công việc và hệ thống.
'Bộ đệm KV' lưu trữ gì trong quá trình tạo văn bản?
Bộ đệm KV chứa các vectơ khóa và giá trị cho mọi mã thông báo trước đó, cho phép mô hình tham gia vào bối cảnh đầy đủ mà không cần tính toán lại từng bước.
Khái niệm hệ điều hành nào đã truyền cảm hứng cho PagedAttention?
PagedAttention mượn khả năng phân trang bộ nhớ ảo: bộ đệm KV được chia thành các trang có kích thước cố định có thể tồn tại ở bất kỳ đâu, được ánh xạ bởi một bảng khối.
PagedAttention giải quyết được vấn đề gì với việc phân bổ bộ đệm KV truyền thống?
Việc đặt trước một tấm lớn liền kề cho mỗi yêu cầu, có kích thước phù hợp với chiều dài tối đa sẽ lãng phí một lượng lớn bộ nhớ GPU. Phân trang phân bổ các khối nhỏ theo yêu cầu, giảm lãng phí.
Làm cách nào PagedAttention cho phép nhiều đầu ra chia sẻ bộ nhớ cho một lời nhắc chung?
Các tiền tố giống hệt nhau (lời nhắc chung hoặc các nhánh tìm kiếm chùm) tham chiếu đến các trang KV vật lý giống nhau, chỉ sao chép khi một nhánh phân kỳ.
vLLM và PagedAttention ban đầu được phát triển ở đâu?
vLLM và thuật toán PagedAttention xuất hiện trong một bài báo năm 2023 của UC Berkeley và nhanh chóng trở thành một công cụ phục vụ nguồn mở được sử dụng rộng rãi.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này