概述
它可以提升服務利用率,同時容量限制與排程政策仍然決定延遲。
深入探討
GPU 在一次批次處理多個請求時最快。最簡單的方法,靜態批次,將固定數量的請求分組,全部執行完畢後再開始下一批。問題在於語言模型輸出的長度差異極大,短請求會早早完成,佔用的槽位會閒置,而批次必須等待最長的請求完成,導致 GPU 周期浪費並延遲新到達的請求。連續批次(亦稱為即時批次或迭代層級批次,於 Orca 論文中普及並在 vLLM、TensorRT-LLM 與 TGI 中使用)以單個解碼步驟為粒度運作。每生成一個 token 後,已完成的序列會離開批次,排程器有容量時可接納排隊中的請求。迭代層級接納能提升利用率並減少可避免的等待,實際效果取決於請求長度、容量與排程。
現實世界的實施
聊天 API 立即將新到達的用戶訊息接納到正在運行的批次中,而不是將它們排隊等待下一個批次
在批次中驅逐較短的已完成答案並回填其插槽,以便 GPU 永遠不會閒置等待較長的一代
將連續批次與 vLLM 的 PagedAttention 結合,在每個解碼步驟中以低成本插入和刪除序列
程式碼完成服務透過保持批次完整,在突發、可變長度流量下維持每秒高令牌數
連續配料的未來
服務團隊需要在吞吐量、第一個 token 的產生時間以及生成 token 之間的間隔時間之間取得平衡。長時間的預填工作可能會延遲解碼,除非排程器將其切分或以其他方式管理。容量預算、請求優先權與公平性政策決定哪些工作被允許。持續批次可以與分頁快取、分塊預填以及投機解碼結合使用,但每種組合都應在實際流量與硬體上進行測量。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是 Continuous Batching?
Continuous Batching 會在每一次生成迭代之間更新活躍請求集合,而不是等到所有請求完成才保持固定批次。它可以提升服務利用率,同時容量限制與排程政策仍然決定延遲。
LLM 服務的靜態(固定)批次的主要弱點是什麼?
由於輸出長度各不相同,因此完成的序列會處於空閒狀態,直到最慢的序列完成為止,從而浪費 GPU 週期並延遲新請求。
連續批次以什麼粒度新增和刪除請求?
連續(迭代等級)批次會在每個解碼步驟後更新活動集,因此它會逐一令牌而不是每個整個請求進行操作。
一個持續批次的請求完成並釋放容量後,排程器接下來可以做什麼?
迭代層級的排程可以在符合記憶體、token 以及其他限制的前提下,重新填補可用的容量。
哪種技術與連續批次自然地結合在一起,可以使插入/刪除序列變得便宜?
PagedAttention 將每個序列的 KV 快取儲存在獨立的區塊中,因此在運行中新增或刪除序列不會幹擾其他序列的記憶體。
哪些研究論文普遍認為推廣了迭代級(連續)批次?
Orca 論文引入了迭代級調度,該想法被 vLLM、TGI 和 TensorRT-LLM 等服務系統採用。