概述
它是许多语言和多模式模型的基础。该架构提供了一种处理表示的方法；它本身并不建立事实、理解或安全行为。
主要要点
- 注意力结合了不同职位的信息。
- 架构变体服务于不同的培训目标。
- 长上下文能力需要针对特定任务的测试。
深入探讨
注意力计算一个位置应该从其他位置获取多少信息。在常见的公式中，学习的投影会生成查询、键和值。查询键比较确定用于组合值的权重。多个注意力头允许在一层内进行多个这样的组合。变压器层还包括其他操作，例如前馈网络、归一化和残差连接。需要位置信息是因为单词或其他序列元素的顺序很重要。具体实现的不同之处在于它们如何表示位置和安排这些操作。 2017 年最初的 Transformer 使用编码器-解码器设计进行翻译。后来的模型针对不同的目标使用仅编码器、仅解码器或编码器-解码器布置。因果语言模型可防止位置在下一个标记预测期间关注未来标记。该约束不同于完整输入的双向处理。对长序列的关注在计算上可能是昂贵的。实际系统使用各种优化，但广告中的上下文限制并不能证明模型可靠地使用长文档的每个部分。根据您的应用程序需要的实际长度测试检索、推理和指令。
04工作示例
通过上下文跟踪引用
考虑一下发明的文本“机器人移动了板条箱，因为它挡住了门口。”
“它”这个词可能需要上下文才能解决。注意力机制可以在计算表示时结合来自其他位置的信息。
将句子更改为“机器人移动了板条箱，因为它需要充电。”测试完整模型的解释，而不是假设注意力图证明了正确的参考分辨率。
它显示了什么
这个例子说明了上下文处理，但没有声称每个转换器都能正确解决歧义。
现实世界的实施
对文档进行编码以进行分类。
使用因果注意力一次生成一个标记的响应。
付诸实践
为什么这很重要
- 速度与规模. 语言工作流程可以在不牺牲一致性的情况下更快地移动。
- 交通与覆盖范围. 它扩展了跨语言和沟通方式的访问。
- 更清晰的判决. 团队可以花更多时间进行判断，而自动化则可以处理重复。
留意
- 幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
- 及时的敏感性可能会在类似的请求中产生不一致的结果。
- 如果访问控制薄弱，敏感文本数据可能会暴露。
后续步骤
- 在推出之前定义输出格式、语气和质量标准。
- 当准确性很重要时，请使用可信来源进行地面响应。
- 为高风险输出保留人工审查检查点。
- 跟踪故障模式并定期重新训练提示或工作流程。
资料来源与延伸阅读
- Vaswani and colleagues您所需要的就是关注
不断探索
常见问题
所有变形金刚都是聊天机器人吗？
不会。Transformers 可以支持分类、翻译、检索、视觉、音频等任务；聊天机器人是围绕模型和附加系统构建的应用程序。