引导式测验 · 硬 等级
注意力展示和头部修剪测验
测试 rollout 如何将分层注意力与剩余路径结合起来，头部修剪估计什么，以及这些分数可以解释什么，不能解释什么。
问题 1 的 8
注意力推广的目标是什么？
预览每个问题8 问题
当您参加测验时，就会出现答案和解释。
- 注意力推广的目标是什么？
- 跨层跟踪从输入标记到输出的累积信息流
- 向 Transformer 添加更多层
- 提高学习率
- 将注意力转化为卷积
- 为什么单层的注意力图常常不足以解释？
- 注意力永远不会被计算
- 信息混合在多个层和头中，因此一张地图会错过完整的路径
- 地图总是统一的
- 变形金刚只有一个头
- 注意力推出向每个注意力矩阵添加了什么以解释剩余连接？
- 零偏差
- 随机噪声项
- 归一化之前的单位矩阵分量
- 额外的 softmax
- 多头注意力研究揭示了关于头冗余的哪些内容？
- 每个头都是必不可少的
- 头部无法移除
- 修剪总是使准确性加倍
- 可以修剪许多头，而精度损失很小
- 通常如何评估修剪头部的重要性？
- 通过基于梯度的头罩损失灵敏度
- 按字母顺序排列
- 仅通过计算其参数
- 到一天的时间
- What different jobs do attention rollout and head pruning each do?
- 它们是相同的技术
- 推出有助于解释，而修剪则利用冗余来压缩模型
- 两者都只是添加参数
- 既不引起关注
- In an attention-rollout calculation, why are residual paths included with layer attention?
- To make every head have the same weight
- To remove the value vectors from the Transformer
- To approximate information that can pass along the identity path when layer transitions are composed
- To prevent the attention matrix from being normalized
- How should an attention-rollout score be interpreted?
- As proof that a token caused the output
- As the exact value vector used at every layer
- As a measure of how many heads the model contains
- As a post-hoc approximation of relative token influence, not a causal explanation