引导式测验 · 硬 等级
使用 EAGLE 测验进行推理解码
检查 EAGLE 特征起草、目标验证、分布保存、反馈嵌入、动态草案树和解码成本。
问题 1 的 8
推测解码背后的核心思想是什么？
预览每个问题8 问题
当您参加测验时，就会出现答案和解释。
- 推测解码背后的核心思想是什么？
- 廉价的起草者提出多个令牌，大型模型在一次并行传递中验证这些令牌
- 将模型的权重压缩到半精度
- 随机跳过网络层
- 提前缓存每一个可能的输出句子
- EAGLE 与早期的推测解码方法有何不同？
- 它完全删除了验证步骤
- 它在模型的隐藏特征空间中起草，而不是直接在令牌级别起草
- 它使用一个完全独立的、更大的模型作为绘图员
- 它仅适用于图像生成
- 为什么在通过精确验证实现时推测解码被认为是无损的？
- 每个草稿代币都会被无条件接受
- 起草者总是预测目标的下一个标记
- 接受和修正过程保留了目标模型的输出分布
- 目标模型从未被评估
- 反馈前一个 token 的嵌入有助于解决 EAGLE 特征起草中的什么问题？
- GPU 上的内存碎片
- 语言之间的分词器不匹配
- 硬件过热
- 预测下一个特征的不确定性/模糊性
- EAGLE-2 在原来的 EAGLE 基础上添加了什么？
- 动态草稿树，可调整提议的候选人数量
- 固定的单代币草案
- LM 头的拆卸
- 仅使用两倍数据进行训练
- 为什么自回归瓶颈会导致普通 LLM 生成速度变慢？
- 模型在每个标记后重新训练自己
- 每个新令牌都需要完整前向传递数十亿个参数，然后下一个令牌才能开始
- 步骤之间的令牌存储在磁盘上
- GPU 必须根据令牌重新启动
- EAGLE 预测隐藏状态特征后，哪个组件将该特征转换为候选标记概率？
- 单独的分词器的词汇文件
- 优化器的动量缓冲区
- 目标模型的语言模型头
- KV 缓存分配器
- EAGLE-3对原来的特征绘图约束做了什么改变？
- 它用标记器替换目标模型
- 它禁用目标验证
- 它需要一个单独的人类起草者
- 它消除了特征预测约束以改善缩放