引导式测验 · 硬 等级

多头潜在注意力测验

探索 MLA 的共享潜在缓存、低秩重建、投影吸收、位置编码路径和推理内存节省。

相关引导路径多头潜在注意力
问题 1 的 8

多头潜在注意力旨在减少的主要问题是什么？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. 多头潜在注意力旨在减少的主要问题是什么？
    • 推理期间键值缓存的内存消耗
    • 训练数据稀缺
    • 模型参数个数
    • 分词器词汇量
  2. MLA如何收缩KV缓存？
    • 它从缓存中删除旧的令牌
    • 它存储一个小的低秩潜在向量，而不是完整的每个头键和值
    • 它对所有内容都使用 1 位权重
    • 它完全忽略了某些标记
  3. 哪个模型首先引入了多头潜在注意力？
    • GPT-2
    • 伯特
    • DeepSeek-V2
    • 美洲驼1
  4. 为什么 MLA 需要一个单独的“解耦”路径来进行旋转位置嵌入？
    • 因为位置与注意力无关
    • 因为 RoPE 使词汇量翻倍
    • 因为它加快了优化器的速度
    • 因为旋转不能像钥匙的其余部分那样折叠到吸收的向上投影中
  5. 与标准多头注意力相比，DeepSeek-V2 从 MLA 报告的 KV 缓存内存减少了大约多少？
    • 超过90%
    • 约5%
    • 正好 50%
    • 没有减少，只有速度提升
  6. MLA 较小的每个令牌缓存直接带来什么实际好处？
    • 消除对任何 GPU 的需求
    • 相同硬件上更大的推理批量大小和更长的上下文
    • 自动翻译成所有语言
    • 删除softmax操作
  7. What is the purpose of absorbing MLA up-projection weights into other projections?
    • Remove positional information from every token
    • Increase the size of the cached latent
    • Avoid materializing full per-head keys and values during inference
    • Replace attention with a recurrent network
  8. What positional information does MLA handle on a separate decoupled key path?
    • Class labels from the training data
    • Image segmentation maps
    • The output vocabulary probabilities
    • Rotary position embeddings that cannot be absorbed like the other key projections