概述
This reduces cache-allocation waste and supports sharing, while vLLM’s actual throughput depends on the workload and system.
深入探討
當語言模型產生文字時,它會為它看到的每個標記保留一個「KV 快取」(鍵和值向量),以便下一個標記可以處理完整的上下文。傳統上,每個請求都會保留一大片連續的 GPU 內存,其大小與其最大可能長度相同,當序列較短或長度不同時,會浪費大量內存。 PagedAttention 是加州大學柏克萊分校 2023 年 vLLM 論文中引入的,它藉鑒了作業系統虛擬記憶體分頁的想法:它將 KV 快取分割成固定大小的區塊,這些區塊可以駐留在記憶體中的任何位置並按需分配。查找表將邏輯令牌位置對應到物理區塊。這幾乎消除了記憶體碎片並允許共享區塊,例如在同一提示的多個輸出之間共用區塊。
現實世界的實施
託管開源 LLM API,其中 vLLM 透過一個 GPU 以高吞吐量為許多同時聊天用戶提供服務
透過前綴快取在數千個請求之間共享較長的系統提示,以便處理一次,而不是重複處理
執行波束搜尋或多個取樣完成,透過寫入時複製共享 KV 區塊以實現公共提示
減少碎片造成的 GPU 記憶體浪費,以便提供者可以將更多並發會話打包到同一硬體上
PagedAttention 和 vLLM 的未來
vLLM 已成為預設的開源推理主幹,PagedAttention 的想法現在出現在大多數服務堆疊中。期望更深入的前綴快取(跨用戶重用快取的系統提示)、在單獨的機器上進行分解的預填充和解碼、更聰明的逐出策略以及與量化和推測解碼的緊密整合。隨著上下文視窗成長到數百萬個令牌,高效的分頁 KV 管理對於保持服務負擔得起變得更加重要。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
What is PagedAttention and vLLM?
PagedAttention manages transformer key/value caches using fixed-size blocks mapped from logical token positions. This reduces cache-allocation waste and supports sharing, while vLLM’s actual throughput depends on the workload and system.
文字產生期間「KV 快取」儲存什麼?
KV 快取保存每個先前標記的鍵和值向量,讓模型能夠處理完整的上下文,而無需每一步重新計算。
什麼樣的作業系統概念激發了 PagedAttention 的靈感?
PagedAttention 借用了虛擬記憶體分頁:KV 快取被分割成固定大小的頁面,這些頁面可以存在於任何地方,並由區塊表映射。
PagedAttention解決了傳統KV快取分配的什麼問題?
為每個請求保留一大塊連續的slab,並根據最大長度調整大小,會浪費大量的GPU記憶體。分頁按需分配小塊,減少浪費。
PagedAttention 如何讓多個輸出共享公共提示的記憶體?
相同的前綴(共享提示或波束搜尋分支)引用相同的實體 KV 頁面,僅在分支發散時才進行複製。
vLLM 和 PagedAttention 最初是在哪裡開發的?
vLLM 和 PagedAttention 演算法來自加州大學柏克萊分校 2023 年的一篇論文,並迅速成為廣泛使用的開源服務引擎。