引导式测验 · 中等 等级

LLM 推理路由和负载平衡测验

检查副本和模型路由、缓存亲和性、实时遥测、可变令牌成本和 LLM 推理的延迟感知吞吐量。

相关引导路径LLM 推理路由与负载均衡
问题 1 的 8

为什么普通循环法对于 LLM 推理来说通常是一个糟糕的负载平衡策略？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. 为什么普通循环法对于 LLM 推理来说通常是一个糟糕的负载平衡策略？
    • 请求的成本差异很大，并且副本保存粘性 KV 缓存
    • 在大多数国家这是非法的
    • 循环法仅适用于数据库
    • 它需要 GPU 才能运行
  2. “前缀缓存关联”路由试图实现什么目标？
    • 将每个请求发送到随机 GPU
    • 将请求路由到已缓存其提示前缀的副本
    • 发送前加密提示
    • 压缩模型权重
  3. 在基于难度的模型路由中，简单查询通常会发生什么？
    • 被拒绝了
    • 它被发送到可用的最大模型
    • 它被发送到一个较小的、更便宜的模型
    • 排队24小时
  4. 哪种实时信号对于支持 LLM 的负载均衡器最有用？
    • 服务器的主机名长度
    • 衣架颜色
    • 仅用户的时区
    • 每个副本的队列深度和KV-cache占用情况
  5. 像 LiteLLM 这样的工具在多提供商设置中提供什么？
    • 单个代理可以在多个模型提供者之间进行平衡和故障转移
    • 一种新的变压器架构
    • GPU冷却系统
    • 分词器的替代品
  6. 为什么一个长输出请求可以胜过许多短输出请求来进行平衡？
    • 长输出不使用资源
    • 每个输出令牌都会花费一次完整的前向传递，因此总令牌负载比请求计数更重要
    • 短请求总是比较慢
    • 路由器根本看不到输出长度
  7. A serving system reports goodput rather than raw request count. What does goodput usually emphasize?
    • 模型参数总数
    • Only the number of HTTP connections opened
    • Requests served while meeting the specified latency or service-level targets
    • The fraction of requests that use the largest model
  8. A gateway first chooses a small or large model, then chooses a replica of that model. What are these two decisions?
    • Tokenization followed by decoding
    • Training followed by fine-tuning
    • Prefill followed by prompt construction
    • Model routing followed by replica load balancing