技術指南

連續配料

連續批次處理會在生成迭代之間更新主動請求集,而不是在每個請求完成之前都維持一個固定的批次。

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. 連續配料的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

它可以提升服務利用率,同時容量限制與排程政策仍然決定延遲。

深入探討

GPU 在一次批次處理多個請求時最快。最簡單的方法,靜態批次,將固定數量的請求分組,全部執行完畢後再開始下一批。問題在於語言模型輸出的長度差異極大,短請求會早早完成,佔用的槽位會閒置,而批次必須等待最長的請求完成,導致 GPU 周期浪費並延遲新到達的請求。連續批次(亦稱為即時批次或迭代層級批次,於 Orca 論文中普及並在 vLLM、TensorRT-LLM 與 TGI 中使用)以單個解碼步驟為粒度運作。每生成一個 token 後,已完成的序列會離開批次,排程器有容量時可接納排隊中的請求。迭代層級接納能提升利用率並減少可避免的等待,實際效果取決於請求長度、容量與排程。

現實世界的實施

聊天 API 立即將新到達的用戶訊息接納到正在運行的批次中,而不是將它們排隊等待下一個批次

在批次中驅逐較短的已完成答案並回填其插槽,以便 GPU 永遠不會閒置等待較長的一代

將連續批次與 vLLM 的 PagedAttention 結合,在每個解碼步驟中以低成本插入和刪除序列

程式碼完成服務透過保持批次完整,在突發、可變長度流量下維持每秒高令牌數

連續配料的未來

服務團隊需要在吞吐量、第一個 token 的產生時間以及生成 token 之間的間隔時間之間取得平衡。長時間的預填工作可能會延遲解碼,除非排程器將其切分或以其他方式管理。容量預算、請求優先權與公平性政策決定哪些工作被允許。持續批次可以與分頁快取、分塊預填以及投機解碼結合使用,但每種組合都應在實際流量與硬體上進行測量。

付諸實踐

為什麼這很重要

  • 成本與預算. 多年來,架構決策決定著效能和營運成本。
  • 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
  • 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。

留意

  • 優化一項基準測試可以隱藏更廣泛的系統弱點。
  • 基礎設施和維護成本常常被低估。
  • 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。

後續步驟

  1. 在實施之前定義延遲、品質和成本目標。
  2. 在實際負載和資料條件下進行基準測試。
  3. 儀器監控錯誤、漂移和使用者影響。
  4. 在擴展之前準備回滾和事件回應路徑。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加 Continuous Batching 小測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是 Continuous Batching?

Continuous Batching 會在每一次生成迭代之間更新活躍請求集合,而不是等到所有請求完成才保持固定批次。它可以提升服務利用率,同時容量限制與排程政策仍然決定延遲。

LLM 服務的靜態(固定)批次的主要弱點是什麼?

由於輸出長度各不相同,因此完成的序列會處於空閒狀態,直到最慢的序列完成為止,從而浪費 GPU 週期並延遲新請求。

連續批次以什麼粒度新增和刪除請求?

連續(迭代等級)批次會在每個解碼步驟後更新活動集,因此它會逐一令牌而不是每個整個請求進行操作。

一個持續批次的請求完成並釋放容量後,排程器接下來可以做什麼?

迭代層級的排程可以在符合記憶體、token 以及其他限制的前提下,重新填補可用的容量。

哪種技術與連續批次自然地結合在一起,可以使插入/刪除序列變得便宜?

PagedAttention 將每個序列的 KV 快取儲存在獨立的區塊中,因此在運行中新增或刪除序列不會幹擾其他序列的記憶體。

哪些研究論文普遍認為推廣了迭代級(連續)批次?

Orca 論文引入了迭代級調度,該想法被 vLLM、TGI 和 TensorRT-LLM 等服務系統採用。