引导式测验 · 硬 等级

推测流和多令牌预测测验

检查提案草案、目标验证、接受的前缀、多令牌头以及接受率影响解码速度的原因。

相关引导路径推测流和多令牌预测
问题 1 的 8

为什么标准自回归解码在 GPU 上通常很慢？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. 为什么标准自回归解码在 GPU 上通常很慢？
    • 令牌一次生成一个，导致每一步 GPU 未得到充分利用
    • GPU 立即耗尽内存
    • 它必须对每个令牌进行重新训练
    • 词汇量太小
  2. “起草者”在推测解码中做什么？
    • 它独自写下最终的答案
    • 它以低廉的价格提出了几种候选未来代币
    • 它删除低概率的令牌
    • 它压缩模型权重
  3. 推测解码中如何保持输出质量？
    • 通过将概率四舍五入到零
    • 通过使用更大的词汇量
    • 通过验证仅接受与目标分布匹配的令牌
    • 完全跳过验证
  4. 美杜莎式多令牌预测与经典推测解码有何区别？
    • 它需要两个独立的大模型
    • 它仅适用于图像生成
    • 它消除了任何前向传递的需要
    • 它添加了额外的轻量级预测头，以便一个模型起草和验证
  5. 为什么变压器在解码过程中验证多个候选位置的成本几乎与验证一个候选位置的成本一样低？
    • 因为解码受内存带宽限制，而不是计算限制
    • 因为它缓存了整个互联网
    • 因为验证跳过了注意力层
    • 因为GPU时钟速度加倍
  6. 主要决定投机或多令牌方法加速的因素是什么？
    • GPU的颜色
    • 每步接受的平均令牌数
    • 型号名称的长度
    • 磁盘大小
  7. A draft proposes tokens A, B and C, but target verification first disagrees at B. Which proposal prefix can be accepted?
    • A, B and C
    • B and C only
    • A, the matching prefix before the first mismatch
    • None, even if A matches
  8. Why can speculative decoding preserve the target model’s output distribution?
    • The drafter is guaranteed to be identical to the target
    • The target model is never run
    • All proposed tokens are accepted unconditionally
    • A verification and correction rule accepts or rejects draft tokens according to the target distribution