引导式测验 · 中等 等级
分组查询注意力测验
回顾分组查询注意力如何共享键/值头、降低生成时缓存成本以及如何从现有检查点获取。
问题 1 的 8
在分组查询注意力中，一组查询头之间共享什么？
预览每个问题8 问题
当您参加测验时，就会出现答案和解释。
- 在分组查询注意力中，一组查询头之间共享什么？
- 键头和值头
- 仅输出投影
- 输入嵌入
- 学习率
- GQA 最好被描述为哪两个极端之间的中间立场？
- 卷积和注意力
- 完整的多头注意力和多查询注意力
- FP32 和 FP8 精度
- 仅编码器和仅解码器模型
- GQA 主要使推理的哪一部分变得更便宜？
- 提示的标记化
- 训练损失计算
- KV 缓存及其生成期间的带宽
- 最终的词汇表上的softmax
- 如果一个模型有32个查询头和8个KV组，KV缓存大约减少多少倍？
- 约 32 倍
- 约 2 倍
- 不减少
- 约 4 倍
- GQA 论文在其实验中报告了哪些质量/速度权衡？
- Quality close to MHA with inference speed closer to MQA
- Lower quality and slower inference than both
- Exactly the same latency and quality for every model
- A result only on image classification
- 现有的多头模型通常如何转换为 GQA？
- 通过删除所有注意力层
- 通过从现有检查点进行简短的“升级”步骤
- 通过切换到不同的分词器
- 它们根本无法转换
- Which task families did the GQA paper evaluate?
- Image segmentation and object detection
- Speech synthesis and speaker verification
- Language modeling and machine translation
- Molecular generation and toxicity prediction
- How much of the original pretraining compute did the GQA paper report using for its uptraining recipe?
- 约50%
- 约100%
- No additional training compute
- 约5%