PagedChú ý và vLLM
PagedAttention là một kỹ thuật quản lý bộ nhớ lưu trữ bộ đệm chú ý của mô hình ngôn ngữ trong các khối nhỏ có thể tái sử dụng thay vì một khối lớn liền kề.
Tổng quan
It powers vLLM, an open-source serving engine that dramatically boosts how many requests a single GPU can handle.
Lặn sâu
Khi một mô hình ngôn ngữ tạo văn bản, nó sẽ giữ một 'bộ đệm KV' (vectơ khóa và giá trị) cho mọi mã thông báo mà nó đã thấy để mã thông báo tiếp theo có thể tham gia vào ngữ cảnh đầy đủ. Theo truyền thống, mỗi yêu cầu dành riêng một khối bộ nhớ GPU lớn liền kề có kích thước tối đa có thể, gây lãng phí số lượng lớn khi các chuỗi ngắn hơn hoặc có độ dài khác nhau. PagedAttention, được giới thiệu trong bài báo vLLM năm 2023 của UC Berkeley, mượn ý tưởng phân trang bộ nhớ ảo từ hệ điều hành: nó chia bộ đệm KV thành các khối có kích thước cố định có thể tồn tại ở bất kỳ đâu trong bộ nhớ và được phân bổ theo yêu cầu. Bảng tra cứu ánh xạ các vị trí mã thông báo logic tới các khối vật lý. Điều này gần như loại bỏ sự phân mảnh bộ nhớ và cho phép chia sẻ các khối, chẳng hạn như trên nhiều đầu ra từ cùng một dấu nhắc.
Hiểu biết kỹ thuật
Bộ đệm KV được chia thành các trang có kích thước cố định, mỗi trang chứa khóa và giá trị cho một số lượng mã thông báo đã đặt. Bảng khối theo trình tự ánh xạ các vị trí logic tới các vị trí trang vật lý, do đó bộ nhớ đệm của trình tự không cần phải liền kề nhau. Bởi vì các tiền tố giống hệt nhau (lời nhắc hệ thống dùng chung hoặc các nhánh tìm kiếm chùm) có thể trỏ đến cùng các trang vật lý thông qua tính năng sao chép khi ghi, bộ nhớ được tái sử dụng thay vì trùng lặp, giảm lãng phí từ hơn 60% xuống còn vài phần trăm.
Tác động chiến lược
Chi phí và ngân sách
Các quyết định về kiến trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
Quyết định rõ ràng hơn
Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
Kiểm soát chất lượng
Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.
Tương lai của PagedAttention và vLLM
vLLM đã trở thành xương sống suy luận nguồn mở mặc định và các ý tưởng của PagedAttention hiện xuất hiện trên hầu hết các ngăn xếp phân phát. Yêu cầu bộ nhớ đệm tiền tố sâu hơn (sử dụng lại lời nhắc hệ thống được lưu trong bộ nhớ đệm cho nhiều người dùng), điền trước và giải mã được phân tách trên các máy riêng biệt, chính sách trục xuất thông minh hơn và tích hợp chặt chẽ với lượng tử hóa và giải mã suy đoán. Khi cửa sổ ngữ cảnh phát triển thành hàng triệu mã thông báo, việc quản lý KV phân trang hiệu quả càng trở nên quan trọng hơn để duy trì việc phân phát ở mức giá phải chăng.
Triển khai trong thế giới thực
Lưu trữ API LLM nguồn mở trong đó vLLM phục vụ nhiều người dùng trò chuyện đồng thời từ một GPU với thông lượng cao
Chia sẻ lời nhắc hệ thống dài qua hàng nghìn yêu cầu thông qua bộ nhớ đệm tiền tố để yêu cầu được xử lý một lần chứ không phải lặp lại
Chạy tìm kiếm chùm hoặc nhiều lần hoàn thành được lấy mẫu chia sẻ các khối KV cho lời nhắc chung thông qua tính năng sao chép khi ghi
Giảm lãng phí bộ nhớ GPU do phân mảnh để nhà cung cấp có thể đóng gói nhiều phiên đồng thời hơn trên cùng một phần cứng
Rủi ro & lan can
Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.
Lộ trình thực hiện
Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the PagedAttention and vLLM quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Quyền riêng tư khác biệt
Câu hỏi thường gặp
What is PagedAttention and vLLM?
PagedAttention là một kỹ thuật quản lý bộ nhớ lưu trữ bộ đệm chú ý của mô hình ngôn ngữ trong các khối nhỏ có thể tái sử dụng thay vì một khối lớn liền kề. Nó hỗ trợ vLLM, một công cụ phân phối nguồn mở giúp tăng đáng kể số lượng yêu cầu mà một GPU có thể xử lý.
'Bộ đệm KV' lưu trữ gì trong quá trình tạo văn bản?
Bộ đệm KV chứa các vectơ khóa và giá trị cho mọi mã thông báo trước đó, cho phép mô hình tham gia vào bối cảnh đầy đủ mà không cần tính toán lại từng bước.
Khái niệm hệ điều hành nào đã truyền cảm hứng cho PagedAttention?
PagedAttention mượn khả năng phân trang bộ nhớ ảo: bộ đệm KV được chia thành các trang có kích thước cố định có thể tồn tại ở bất kỳ đâu, được ánh xạ bởi một bảng khối.
PagedAttention giải quyết được vấn đề gì với việc phân bổ bộ đệm KV truyền thống?
Việc đặt trước một tấm lớn liền kề cho mỗi yêu cầu, có kích thước phù hợp với chiều dài tối đa sẽ lãng phí một lượng lớn bộ nhớ GPU. Phân trang phân bổ các khối nhỏ theo yêu cầu, giảm lãng phí.
Làm cách nào PagedAttention cho phép nhiều đầu ra chia sẻ bộ nhớ cho một lời nhắc chung?
Các tiền tố giống hệt nhau (lời nhắc chung hoặc các nhánh tìm kiếm chùm) tham chiếu đến các trang KV vật lý giống nhau, chỉ sao chép khi một nhánh phân kỳ.
vLLM và PagedAttention ban đầu được phát triển ở đâu?
vLLM và thuật toán PagedAttention xuất hiện trong một bài báo năm 2023 của UC Berkeley và nhanh chóng trở thành một công cụ phục vụ nguồn mở được sử dụng rộng rãi.