引导式测验 · 硬 等级
连续批处理测验
应用迭代级 LLM 批处理、容量限制和预填充权衡，包括为什么连续接纳请求并不能保证零等待。
问题 1 的 8
LLM 服务的静态（固定）批处理的主要弱点是什么？
预览每个问题8 问题
当您参加测验时，就会出现答案和解释。
- LLM 服务的静态（固定）批处理的主要弱点是什么？
- 它只能在CPU上运行
- 它需要先标记所有数据
- 短请求提前完成，但它们的槽空闲，而批处理等待最长的请求
- 它使模型不太准确
- 连续批处理以什么粒度添加和删除请求？
- 每天一次
- 每个解码步骤（一次一个令牌）
- 仅根据完整请求
- 每个训练时期
- 连续批处理请求完成并释放容量。调度器接下来可以做什么？
- 从第一个 token 开始重新启动每个剩余请求
- 保证每个排队请求立即运行
- 丢弃已完成的答案而不返回它
- 在资源预算允许的情况下接纳合格的排队工作
- 哪种技术与连续批处理自然地结合在一起，可以使插入/删除序列变得便宜？
- PagedAttention的基于块的KV缓存
- FP32 双精度
- 磁盘交换
- 手动数据标记
- 哪些研究论文被普遍认为推广了迭代级（连续）批处理？
- 最初的 Transformer 论文
- 虎鲸纸
- 20 世纪 80 年代的数据库论文
- ImageNet 论文
- 连续批处理相较于固定请求批次可以减少哪种利用率问题？
- 每个模型准确性错误
- 需要存储任何 KV 缓存
- 在任何流量速率下的所有排队
- 在接纳新的合格工作之前等待最长请求
- 连续批处理服务器已达到其内存预算。新到达的请求必须进入下一轮吗？
- 不；接纳可以等到有合适容量时再进行
- 是；名称保证无限制请求接纳
- 是；服务器会自动移除所有活动输出
- 仅当请求没有标点符号时
- 长提示的预填充会延迟已在解码的请求的 token。哪种服务目标揭示了这种权衡？
- 仅测量权重文件名
- 假设更多已接纳的提示总能提升每个延迟
- 测量解码 token 之间的时间以及吞吐量
- 仅计数模型层数