引導式測驗 · 中等 等級
LLM 推理路由與負載平衡測驗
檢查副本和模型路由、快取親和性、即時遙測、可變令牌成本和 LLM 推理的延遲感知吞吐量。
問題 1 的 8
為什麼普通循環法對於 LLM 推理來說通常是個糟糕的負載平衡策略?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 為什麼普通循環法對於 LLM 推理來說通常是個糟糕的負載平衡策略?
- 請求的成本差異很大,並且副本保存黏性 KV 緩存
- 在大多數國家這是非法的
- 循環法僅適用於資料庫
- 它需要 GPU 才能運行
- “前綴快取關聯”路由試圖實現什麼目標?
- 將每個請求傳送到隨機 GPU
- 將請求路由到已快取其提示前綴的副本
- 發送前加密提示
- 壓縮模型權重
- 在基於難度的模型路由中,簡單查詢通常會發生什麼?
- 被拒絕了
- 它被發送到可用的最大模型
- 它被發送到一個較小的、更便宜的模型
- 排隊24小時
- 哪種即時訊號對於支援 LLM 的負載平衡器最有用?
- 伺服器的主機名稱長度
- 衣架顏色
- 僅用戶的時區
- 每個副本的佇列深度和KV-cache佔用情況
- 像 LiteLLM 這樣的工具在多提供者設定中提供什麼?
- 單一代理可以在多個模型提供者之間進行平衡和故障轉移
- 一種新的變壓器架構
- GPU冷卻系統
- 分詞器的替代品
- 為什麼一個長輸出請求可以勝過許多短輸出請求來平衡?
- 長輸出不使用資源
- 每個輸出令牌都會花費一次完整的前向傳遞,因此總令牌負載比請求計數更重要
- 短請求總是比較慢
- 路由器根本看不到輸出長度
- A serving system reports goodput rather than raw request count. What does goodput usually emphasize?
- 模型參數總數
- Only the number of HTTP connections opened
- Requests served while meeting the specified latency or service-level targets
- The fraction of requests that use the largest model
- A gateway first chooses a small or large model, then chooses a replica of that model. What are these two decisions?
- Tokenization followed by decoding
- Training followed by fine-tuning
- Prefill followed by prompt construction
- Model routing followed by replica load balancing