变压器中的感应头
归纳头是注意力头，它实现了一个简单但强大的复制规则：“我之前看到了[A][B]，现在我又看到了[A]，所以预测[B]。”它们是 Transformer 能够通过提示中的几个示例进行上下文学习的惊人能力背后的关键机制。
深入探讨
通过小型变压器的机械解释发现，感应头在训练过程中的一个特征时刻出现，该时刻与损失突然下降和情境学习的开始相一致。它们通常作为双头电路工作。较早层中的“前一个令牌头”向前复制有关每个令牌的前任的信息。然后，归纳头使用它来执行前缀匹配：它找到当前标记的较早出现位置，查看其后面的内容，然后将下一个标记复制到预测中。这种模式完成能力可以让模型重复序列、完成类比，并选择完全在提示中定义的新颖格式或单词定义，而无需任何权重更新。
技术洞察
该电路由两个跨层注意力头组成。前一个令牌头将“我之前的令牌是 X”写入每个位置的剩余流中。然后，感应头的查询键匹配 (Q-K) 将当前标记与那些移位的键进行匹配，以定位先前的 [A] 位置，并且其输出值路径 (O-V) 复制后面的标记。这是变压器电路研究中跨层“K-组合”的具体示例。
战略影响
速度与规模
语言工作流程可以在不牺牲一致性的情况下更快地移动。
交通与覆盖范围
它扩展了跨语言和沟通方式的访问。
更清晰的判决
团队可以花更多时间进行判断，而自动化则可以处理重复。
变压器感应头的未来
归纳头是机械可解释性的旗舰成功，该领域正在将这一想法扩展到更丰富的“上下文学习电路”，以处理抽象，而不仅仅是字面复制。预计会有更多的工作将这些头部的突然形成与较大模型中的相变和涌现能力联系起来。了解此类回路何时以及如何形成可以帮助预测能力，设计更好的课程，并构建安全工具来检测模型何时纯粹从上下文中学习意外行为。
现实世界的实施
通过从早期上下文中预测“C”来完成重复的随机标记序列，例如“A B C ... A B”。
模型复制前面示例中演示的输入输出格式的少量提示。
学习提示中给出的虚构单词的含义，并在稍后的同一篇文章中正确地重复使用它。
通过匹配其标记的先前出现来忠实地回显长引用字符串或列表。
风险与防护栏
幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
及时的敏感性可能会在类似的请求中产生不一致的结果。
如果访问控制薄弱，敏感文本数据可能会暴露。
实施路线图
在推出之前定义输出格式、语气和质量标准。
当准确性很重要时，请使用可信来源进行地面响应。
为高风险输出保留人工审查检查点。
跟踪故障模式并定期重新训练提示或工作流程。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Induction Heads in Transformers quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
变压金刚中的感应磁头是什么？
归纳头是注意力头，它实现了一个简单但强大的复制规则：“我之前看到了[A][B]，现在我又看到了[A]，所以预测[B]。”它们是 Transformer 能够通过提示中的几个示例进行上下文学习的惊人能力背后的关键机制。
感应头本质上执行什么规则？
感应头进行前缀匹配：它们找到当前标记之前出现的位置并复制其后面的内容。
感应头与哪种功能最密切相关？
它们的出现恰逢情境学习的开始，即在不更新权重的情况下根据提示中的示例进行适应的能力。
“前令牌头”在感应电路中起什么作用？
前一个令牌头将“我的前任是X”写入残差流中，从而使感应头能够匹配和复制。
规范感应电路中通常涉及多少个注意力头？
经典电路是双头组成：前令牌头加上执行匹配和复制的感应头。
训练过程中感应头形成有什么值得注意的地方？
感应头出现在类似相变的时刻，与损失突然下降和情境学习的出现相一致。