概述
如果做得好,它可以減少延遲和成本;如果做得不好,就會導致逾時和 GPU 空閒。
深入探討
大規模為 LLM 提供服務意味著在許多 GPU 上運行許多副本,並且推理流量是突發性且不均勻的——提示的長度和難度差異很大。路由器位於前面,使用比經典循環更豐富的訊號選擇目的地。現代 LLM 感知路由器會考慮佇列深度、KV 快取佔用情況以及副本是否已持有符合的提示前綴(前綴快取親和性),以便後續請求到達其快取所在的位置。一些路由器還選擇使用哪種模型——將簡單的查詢發送到便宜的小模型,將困難的查詢發送到大模型(模型路由)。然後,負載平衡平衡副本之間的壓力,以避免熱點、遵守速率限制並保持較低的尾部延遲,同時最大化整體吞吐量和 GPU 利用率。
現實世界的實施
聊天機器人平台將每個對話固定到保存其 KV 快取的副本,因此後續回合會命中前綴快取並更快地回應。
RouteLLM 風格的系統將簡單的問題發送給小型廉價模型,並僅將困難的問題升級為前沿模型,從而在品質損失很小的情況下降低成本。
Kubernetes Gateway API Inference Extension 透過即時 GPU 佇列深度和快取狀態進行路由,而不是跨 Pod 進行簡單的循環。
LiteLLM 跨 OpenAI、Anthropic 和自架模型代理流量,並在一個提供者限制時提供回退和速率限制感知平衡。
LLM 推理路由與負載平衡的未來
路由正在成為一流的、可學習的組件。 Kubernetes 的網關 API 推理擴充、vLLM 的生產堆疊和基於 LiteLLM/Envoy 的路由器等項目標準化了快取感知和成本感知調度。預計會有更多基於語義和難度的模型路由(RouteLLM 風格)、SLA 驅動的優先隊列、多區域和現貨實例感知以及隨著模型、價格和流量變化實時平衡延遲、吞吐量和美元成本的強化學習策略。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是 LLM 推理路由和負載平衡?
控制層決定哪個模型副本、GPU 或後端應處理每個傳入的 LLM 請求,以及如何分散流量,以免單一伺服器不堪負荷。如果做得好,它可以減少延遲和成本;如果做得不好,就會導致逾時和 GPU 空閒。
為什麼普通循環法對於 LLM 推理來說通常是個糟糕的負載平衡策略?
LLM 請求在長度/成本方面差異很大,而且副本的 KV 快取使會話具有黏性,因此盲目循環後端會忽略快取關聯性和實際負載。
“前綴快取關聯”路由試圖實現什麼目標?
如果副本已經保存了共享前綴的 KV 緩存,則後續路由將重複使用該緩存,而不是重新計算它,從而節省計算和延遲。
在基於難度的模型路由中,簡單查詢通常會發生什麼?
像 RouteLLM 這樣的模型路由器將簡單的查詢發送到便宜的小型模型,並為困難的模型保留昂貴的前沿模型,從而以最小的品質損失降低成本。
哪種即時訊號對於支援 LLM 的負載平衡器最有用?
真實的後端遙測(待處理令牌、批次填充度、快取佔用率)比簡單的請求計數更好地反映了真實負載。
像 LiteLLM 這樣的工具在多提供者設定中提供什麼?
LiteLLM 充當跨提供者(OpenAI、Anthropic、自架)的路由代理,新增後備和速率限制感知平衡。