技術指南

PagedAttention 和 vLLM

PagedAttention manages transformer key/value caches using fixed-size blocks mapped from logical token positions.

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. PagedAttention 和 vLLM 的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

This reduces cache-allocation waste and supports sharing, while vLLM’s actual throughput depends on the workload and system.

深入探討

當語言模型產生文字時,它會為它看到的每個標記保留一個「KV 快取」(鍵和值向量),以便下一個標記可以處理完整的上下文。傳統上,每個請求都會保留一大片連續的 GPU 內存,其大小與其最大可能長度相同,當序列較短或長度不同時,會浪費大量內存。 PagedAttention 是加州大學柏克萊分校 2023 年 vLLM 論文中引入的,它藉鑒了作業系統虛擬記憶體分頁的想法:它將 KV 快取分割成固定大小的區塊,這些區塊可以駐留在記憶體中的任何位置並按需分配。查找表將邏輯令牌位置對應到物理區塊。這幾乎消除了記憶體碎片並允許共享區塊,例如在同一提示的多個輸出之間共用區塊。

現實世界的實施

託管開源 LLM API,其中 vLLM 透過一個 GPU 以高吞吐量為許多同時聊天用戶提供服務

透過前綴快取在數千個請求之間共享較長的系統提示,以便處理一次,而不是重複處理

執行波束搜尋或多個取樣完成,透過寫入時複製共享 KV 區塊以實現公共提示

減少碎片造成的 GPU 記憶體浪費,以便提供者可以將更多並發會話打包到同一硬體上

PagedAttention 和 vLLM 的未來

vLLM 已成為預設的開源推理主幹,PagedAttention 的想法現在出現在大多數服務堆疊中。期望更深入的前綴快取(跨用戶重用快取的系統提示)、在單獨的機器上進行分解的預填充和解碼、更聰明的逐出策略以及與量化和推測解碼的緊密整合。隨著上下文視窗成長到數百萬個令牌,高效的分頁 KV 管理對於保持服務負擔得起變得更加重要。

付諸實踐

為什麼這很重要

  • 成本與預算. 多年來,架構決策決定著效能和營運成本。
  • 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
  • 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。

留意

  • 優化一項基準測試可以隱藏更廣泛的系統弱點。
  • 基礎設施和維護成本常常被低估。
  • 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。

後續步驟

  1. 在實施之前定義延遲、品質和成本目標。
  2. 在實際負載和資料條件下進行基準測試。
  3. 儀器監控錯誤、漂移和使用者影響。
  4. 在擴展之前準備回滾和事件回應路徑。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

Take the PagedAttention and vLLM quiz

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

What is PagedAttention and vLLM?

PagedAttention manages transformer key/value caches using fixed-size blocks mapped from logical token positions. This reduces cache-allocation waste and supports sharing, while vLLM’s actual throughput depends on the workload and system.

文字產生期間「KV 快取」儲存什麼?

KV 快取保存每個先前標記的鍵和值向量,讓模型能夠處理完整的上下文,而無需每一步重新計算。

什麼樣的作業系統概念激發了 PagedAttention 的靈感?

PagedAttention 借用了虛擬記憶體分頁:KV 快取被分割成固定大小的頁面,這些頁面可以存在於任何地方,並由區塊表映射。

PagedAttention解決了傳統KV快取分配的什麼問題?

為每個請求保留一大塊連續的slab,並根據最大長度調整大小,會浪費大量的GPU記憶體。分頁按需分配小塊,減少浪費。

PagedAttention 如何讓多個輸出共享公共提示的記憶體?

相同的前綴(共享提示或波束搜尋分支)引用相同的實體 KV 頁面,僅在分支發散時才進行複製。

vLLM 和 PagedAttention 最初是在哪裡開發的?

vLLM 和 PagedAttention 演算法來自加州大學柏克萊分校 2023 年的一篇論文,並迅速成為廣泛使用的開源服務引擎。