引导式测验 · 中等等级

稀疏注意力模式测验

比较本地、扩展、随机和全局稀疏注意连接，以及优化内核如何在长输入处理中跳过未使用的条目。

为什么在长序列上完全自注意力会很昂贵？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

为什么在长序列上完全自注意力会很昂贵？
- 它的成本随着序列长度的平方而增长
- 它无法使用 GPU
- 它只适用于简短的单词
- 它根本不需要内存
什么是滑动窗口（局部）注意力？
- 每个令牌都涉及一个随机数据库
- 每个令牌只关注其附近的邻居
- 代币从不参与任何事情
- 每个令牌都会处理所有令牌两次
稀疏注意力中“全局代币”的目的是什么？
- 减慢模型速度
- 存储图像
- 充当枢纽，照顾一切，一切都照顾
- 替换词汇
哪个模型证明了随机、窗口和全局注意力的结合可以保持全注意力的表达能力？
- 残差网络
- 词向量
- 亚历克斯网
- 大鸟
在精心设计的稀疏注意力中，连接数量大致如何扩展？
- 与序列长度大致呈线性关系
- 与序列长度成二次方
- 与长度无关
- 与序列长度呈指数关系
Strided或dilated稀疏注意力模式允许什么？
- 计算它们然后将它们设置为零
- 跳过前进以更少的注意力链接到达远距离上下文
- 将它们发送到另一台服务器
- 永久存储它们
Longformer如何结合局部和全局注意力？
- 每个标记都关注其他所有标记
- 仅允许随机边缘
- 大多数标记使用滑动局部窗口，而选定的全局标记跨序列连接
- 每个标记仅关注最后一个标记
学习的基于内容的稀疏注意力的目标是什么？
- 对每个标记的完整密集连接
- 删除所有未来标记的规则
- 每个注意力头的学习词汇表
- 避免在与当前查询无关的内容上消耗注意力计算和内存