引导式测验 · 中等 等级
交叉注意力测验
了解交叉注意力如何让一个序列或模态查询变压器模型中另一个序列或模态的表示。
问题 1 的 8
自注意力和交叉注意力之间的主要区别是什么？
预览每个问题8 问题
当您参加测验时，就会出现答案和解释。
- 自注意力和交叉注意力之间的主要区别是什么？
- 在交叉注意力中，查询来自一个序列，键/值来自另一个序列
- 交叉注意力不使用softmax
- 自注意力仅适用于图像
- 交叉注意力不能用梯度下降来训练
- 在编码器-解码器 Transformer 中，交叉注意力的查询来自哪里？
- 编码器的输出
- 解码器当前状态
- 仅原始输入嵌入
- 单独的随机矩阵
- 为什么交叉注意力中的两个序列可以具有不同的长度或模式？
- 因为注意力需要等长的输入
- 因为它完全忽略了其中一个序列
- 因为查询和键来自不同的独立来源
- 因为它首先将所有内容填充到固定大小
- 稳定扩散如何使用交叉注意力？
- 将图像压缩为较小的文件
- 在语言之间翻译文本
- 消除音频中的噪音
- 根据文本提示调节生成的图像区域
- 交叉注意力与自注意力共享什么数学运算？
- 使用 softmax 缩放点积注意力
- 像素卷积
- 周期性状态更新
- 硬编码查找表
- Flamingo 使用什么门控机制来控制信息流通过其交叉注意力层？
- 一个初始化为 1 的硬阈值
- 一个初始化为 0 的 tanh 门
- 一个固定的 0.5 残差权重
- 一个学习到的词汇查找表
- Flamingo 的论文指出其视觉语言模型可以处理什么样的输入序列结构？
- 仅一张图像后跟一个固定长度的标签
- 仅文本标记，没有视觉输入
- 以任意序列交错的视觉和文本数据
- 仅视频帧，没有文本
- 交叉注意力在 Flamingo 的视觉语言架构中的一个作用是什么？
- 它用像素替换所有文本标记
- 它阻止任何信息在模态之间传递
- 它仅执行图像缩放
- 它让语言模型层能够整合来自图像/视频输入的视觉特征