引导式测验 · 中等 等级
变压器感应头测验
查看归纳前缀匹配、前驱信息、跨层电路、训练观察和上下文学习机制的限制。
问题 1 的 8
感应头本质上执行什么规则？
预览每个问题8 问题
当您参加测验时，就会出现答案和解释。
- 感应头本质上执行什么规则？
- 预测语言中最常见的标记
- 始终复制前一个令牌不变
- 随机打乱上下文标记
- 之前查看[A][B]，然后再次在[A]上预测[B]
- 在引用的 2022 年研究中，什么能力与感应头行为相关？
- 在所检查的模型中进行上下文学习，并将更广泛的大模型主张作为假设
- 证明每种形式的推理仅使用一个相同的电路
- 在每次提示期间更改分词器词汇
- 每当出现重复的令牌时，权重就会永久更新
- “前令牌头”在感应电路中起什么作用？
- 它生成最终的softmax
- 它删除了位置信息
- 它向前复制每个令牌的前任信息，以便可以进行匹配
- 它规范了注意力权重
- 规范感应电路中通常涉及多少个注意力头？
- 正好一个
- 二、跨层组合
- 单层数百个
- 零；它只是前馈
- 归纳头部研究在其检查的模型中报告了哪些训练关系？
- 头部形成与损失行为的变化和情境学习的增加同时发生
- 所有头部在训练前均已完全成型
- 归纳行为只有在每个参数被永久冻结后才会出现
- 未来的每个模型中都必须发生完全相同的训练转换
- 感应头最直接处理哪项任务？
- 计算数值梯度
- 压缩模型的权重
- 加密输入提示
- 通过复制先前匹配标记后面的内容来重复序列
- 查询键匹配和输出值路径在规范归纳电路中起什么作用？
- 查询键计算生成最终的文本文件名；输出值计算训练分词器
- 查询键计算选择匹配的上下文位置；产出值计算促进那里的代币信息
- 两条路径只计算上下文单词的总数
- 输出值路径选择一个没有任何注意模式的位置
- 演示的双头感应电路是否证明每个大型模型上下文任务都单独使用该机制？
- 是的;每个架构和提示都已经过因果测试
- 是的；没有其他网络计算可以影响预测
- 不；更广泛的解释仍然是一个假设，需要特定于模型和任务的证据
- 只有参数的数量决定了证明是否具有普适性