引導式測驗 · 中等 等級

LLM 推理路由與負載平衡測驗

檢查副本和模型路由、快取親和性、即時遙測、可變令牌成本和 LLM 推理的延遲感知吞吐量。

問題 1 的 8

為什麼普通循環法對於 LLM 推理來說通常是個糟糕的負載平衡策略?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 為什麼普通循環法對於 LLM 推理來說通常是個糟糕的負載平衡策略?
    • 請求的成本差異很大,並且副本保存黏性 KV 緩存
    • 在大多數國家這是非法的
    • 循環法僅適用於資料庫
    • 它需要 GPU 才能運行
  2. “前綴快取關聯”路由試圖實現什麼目標?
    • 將每個請求傳送到隨機 GPU
    • 將請求路由到已快取其提示前綴的副本
    • 發送前加密提示
    • 壓縮模型權重
  3. 在基於難度的模型路由中,簡單查詢通常會發生什麼?
    • 被拒絕了
    • 它被發送到可用的最大模型
    • 它被發送到一個較小的、更便宜的模型
    • 排隊24小時
  4. 哪種即時訊號對於支援 LLM 的負載平衡器最有用?
    • 伺服器的主機名稱長度
    • 衣架顏色
    • 僅用戶的時區
    • 每個副本的佇列深度和KV-cache佔用情況
  5. 像 LiteLLM 這樣的工具在多提供者設定中提供什麼?
    • 單一代理可以在多個模型提供者之間進行平衡和故障轉移
    • 一種新的變壓器架構
    • GPU冷卻系統
    • 分詞器的替代品
  6. 為什麼一個長輸出請求可以勝過許多短輸出請求來平衡?
    • 長輸出不使用資源
    • 每個輸出令牌都會花費一次完整的前向傳遞,因此總令牌負載比請求計數更重要
    • 短請求總是比較慢
    • 路由器根本看不到輸出長度
  7. A serving system reports goodput rather than raw request count. What does goodput usually emphasize?
    • 模型參數總數
    • Only the number of HTTP connections opened
    • Requests served while meeting the specified latency or service-level targets
    • The fraction of requests that use the largest model
  8. A gateway first chooses a small or large model, then chooses a replica of that model. What are these two decisions?
    • Tokenization followed by decoding
    • Training followed by fine-tuning
    • Prefill followed by prompt construction
    • Model routing followed by replica load balancing