概述
这很重要,因为这两个阶段具有相反的硬件需求,将它们强制到同一台机器上会浪费容量并损害延迟。
深入探討
當法學碩士回答時,它分兩個階段進行。 Prefill 一次讀取整個提示並建立鍵值(KV)快取;這是一個巨大的、平行的、受運算限制的突發,使 GPU 的數學單元飽和。然後,解碼一次產生一個令牌,每一步都會讀取整個 KV 快取——記憶體頻寬受限、運算量較輕的細流。一起運行時,長預填充會拖延每個人的解碼(隊頭阻塞),並且對兩者進行批次處理會產生幹擾。分解將預先填充放在一個 GPU 池上,並在另一個 GPU 池上進行解碼,透過 NVLink 或 InfiniBand 等快速互連在它們之間傳輸 KV 快取。每個池都經過獨立調整和擴展,提高了吞吐量,平滑了尾部延遲,並讓操作員同時達到了嚴格的第一個令牌時間和每個輸出令牌時間目標。
現實世界的實施
聊天助理將長文件提示路由到計算量大的預填充集群,然後從內存優化的解碼集群流式傳輸回复,以保持打字延遲平穩。
NVIDIA Dynamo 和 vLLM 允許操作員部署單獨的預填和解碼工作群組,因此突發的長提示不會凍結後續的生成。
Mooncake(由 Moonshot AI 的 Kimi 使用)分解了預填充和解碼,並添加了分散式 KV 快取池以大規模減少冗餘的即時重新計算。
程式碼完成服務專用於短提示的小型預填充池和大型解碼池,因為大部分成本來自串流許多輸出代幣。
分類預填和解碼服務的未來
預計分解將成為生產堆疊中的預設設定。 DistServe、Splitwise 和 Mooncake 等系統使其普及,而 vLLM 和 NVIDIA Dynamo 現在提供分類模式。研究正在推動 KV 快取傳輸最佳化、跨請求的快取池和重用、流量變化下預填充/解碼比率的動態重新平衡,以及與前綴快取和分塊預填充的更緊密整合。隨著上下文視窗成長到數百萬個令牌,分離這些階段對於經濟高效、低延遲的服務變得越來越重要。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是分類預填和解碼服務?
服務架構,將大型語言模型推理分為兩個獨立的階段——預先填充和解碼——並在不同的 GPU 池上運行它們。這很重要,因為這兩個階段具有相反的硬體需求,將它們強製到同一台機器上會浪費容量並損害延遲。
將預填和解碼分離到不同 GPU 池的核心硬體原因是什麼?
預填充並行處理整個提示並使計算飽和,而解碼每一步都會讀取 KV 緩存,並受到內存頻寬的限制,這與需要單獨、獨立調整池的需求相反。
哪些資料結構必須從預填工作器傳送到解碼工作器?
Prefill為提示建構KV快取;解碼需要該快取繼續生成,因此快取透過快速互連傳送到解碼池。
在共享 GPU 設定中,分解具體可以減少哪些問題?
在共享 GPU 上,長預填充突發可能會阻止正在進行的解碼步驟;將它們分開可以防止幹擾並穩定尾部延遲。
為什麼預填充可以積極地進行批次處理,但解碼可以從不同的調整中受益?
Prefill 一起處理所有提示標記,因此較大的批次可以很好地填充張量核心;解碼一次產生一個令牌並由記憶體閘控,因此它的擴展方式不同。
通常使用哪些互連在分解池之間移動 KV 快取?
需要像 NVLink(節點內)和 InfiniBand(節點間)這樣的高頻寬、低延遲鏈路,這樣 KV 快取傳輸就不會成為新的瓶頸。