概述
KV 快取優化會縮小並管理內存,因此模型可以同時為更多用戶提供更長的上下文。
深入探討
在 transformer 中,每個新 token 會透過注意力的鍵 (K) 與值 (V) 來關注所有先前的 token。若在每一步都重新計算整段序列的 K 與 V,計算量會呈二次方且非常浪費,因此模型會將它們快取起來:KV 快取。其缺點是佔用空間。快取大小會隨序列長度、批次大小、層數與注意力頭數線性成長,導致長上下文的請求可能佔用比模型權重本身更多的 GPU 記憶體。最佳化從多個面向著手:分頁記憶體(vLLM 的 PagedAttention)將快取儲存在非連續的區塊以減少碎片化並允許共享;量化則將 K 與 V 以 8 位元或 4 位元儲存;以及像是 Grouped-Query Attention (GQA) 與 Multi-Query Attention (MQA) 這類架構變更,讓多個 query 頭共享較少的鍵/值頭,從根本上大幅削減快取大小。
現實世界的實施
vLLM 的 PagedAttention 透過打包 KV 區塊來服務多個同時聊天會話,同時減少記憶體碎片化
Llama 模型中的分組查詢注意力機制減少了 KV 快取大小,以便 GPU 記憶體可以容納更長的上下文
将 KV 缓存量化为 8 位 (KV8),以在长文档摘要期间将缓存内存大致减半
前綴快取可在數千個 API 請求中重複使用共享系統提示的 KV 區塊
KV快取優化的未來
隨著上下文視窗擴展到數十萬或數百萬個令牌,KV 快取成為服務的主要成本。預計積極的快取壓縮和驅逐(丟棄低關注令牌)、預設的跨請求前綴共享、將冷緩存卸載到 CPU 或 NVMe,以及 MLA 和 GQA 等架構成為標準。快取管理將越來越類似於具有分層和智慧預取的完整記憶體層次結構。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是KV快取優化?
KV 快取儲存變壓器已經計算出的鍵和值,因此它不會為每個新令牌重做工作 - 但它可以膨脹到千兆位元組。 KV 快取優化會縮小並管理該內存,因此模型可以同時為更多用戶提供更長的上下文。
KV 快取儲存什麼以及為什麼?
快取先前令牌中的鍵和值可以避免對每個新令牌重新進行注意力計算,從而節省時間。
為什麼KV快取會成為記憶體問題?
快取大小隨上下文長度和並發性而變化,因此長請求可能會使用大量 GPU 記憶體。
PagedAttention 借用了什麼作業系統概念?
PagedAttention 將快取儲存在透過表格映射的非連續固定大小區塊中,就像作業系統分頁一樣。
Grouped-Query 和 Multi-Query Attention 如何減少 KV 快取大小?
跨多個查詢頭共享鍵/值頭意味著要儲存的 K 和 V 向量要少得多。
KV 快取中前綴共享的好處是什麼?
共用系統提示會產生相同的 KV 條目,因此多個請求可以指向相同的區塊,而不是重複它們。