引导式测验 · 硬 等级

PagedAttention 和 vLLM 测验

测试 PagedAttention KV 块、逻辑到物理映射和共享，包括缓存内存节省和总模型存储之间的区别。

相关引导路径Pagedattention 和 Vllm
问题 1 的 8

文本生成期间“KV 缓存”存储什么？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. 文本生成期间“KV 缓存”存储什么？
    • 模型的训练数据
    • 用户的登录凭据
    • 过去令牌的键和值向量，以便新令牌可以处理它们
    • 模型权重的压缩副本
  2. 什么样的操作系统概念激发了 PagedAttention 的灵感？
    • 磁盘碎片整理工具
    • 虚拟内存分页
    • 文件压缩
    • CPU分支预测
  3. PagedAttention解决了传统KV缓存分配的什么问题？
    • 互联网连接速度慢
    • 缺乏训练数据
    • 密码安全性弱
    • 为每个请求保留大的连续块而浪费内存
  4. PagedAttention 如何让多个输出共享公共提示的内存？
    • 不同的序列通过写时复制指向相同的物理页
    • 第一次使用后删除提示
    • 它将提示存储在磁盘上
    • 它为每个输出重新训练模型
  5. vLLM 和 PagedAttention 最初是在哪里开发的？
    • 20 世纪 90 年代的学术实验室
    • 加州大学伯克利分校（2023 年出版）
    • 硬件供应商的营销团队
    • 匿名在线论坛
  6. 对于就职于法学硕士的人来说，vLLM 的主要实际好处是什么？
    • 基准测试中模型精度更高
    • 自动数据标记
    • 免费 GPU 硬件
    • 每个 GPU 具有更高的吞吐量和更多并发请求
  7. A sequence’s logical KV block 3 resides in a different physical location. What tells PagedAttention where to read it?
    • The sequence’s block table mapping logical blocks to physical blocks
    • The model’s class-label list
    • 学习率调度器
    • A requirement that every block follow block 2 contiguously
  8. A PagedAttention cache ends with a half-filled block. Which statement about memory waste is accurate?
    • Paging guarantees every allocated byte contains a token
    • The entire model must be copied for each unused slot
    • Unused slots can remain in that final block despite reduced allocation fragmentation
    • The block table cannot represent a partial sequence