概述
注意力机制在解码过程中提供了对源上下文的访问。
深入探讨
早期的神经机器翻译系统将源句子编码为一个固定向量，这限制了长输入。Bahdanau 注意力机制允许解码器在每一步从源隐藏状态计算上下文。Transformer 用注意力层取代了循环，而序列到序列（sequence-to-sequence）变体保留了编码器和解码器组件。输出长度是在生成过程中确定的，而不是从输入长度复制的。
现实世界的实施
编码器可以表示用于翻译的源句子。
解码器生成目标标记，直到达到结束条件。
交叉注意力机制使用编码器输出作为解码器查询的键和值。
T5 和 BART 等 Transformer 编码器-解码器模型将此结构应用于文本任务。
序列到序列模型的未来
根据任务、数据和部署约束选择编码器-解码器或仅解码器架构。评估输入长度行为、输出质量和解码成本。所引用的论文确立了特定的模型设计和基准，而非某种架构的普遍优越性。
付诸实践
为什么这很重要
- 速度与规模. 语言工作流程可以在不牺牲一致性的情况下更快地移动。
- 交通与覆盖范围. 它扩展了跨语言和沟通方式的访问。
- 更清晰的判决. 团队可以花更多时间进行判断，而自动化则可以处理重复。
留意
- 幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
- 及时的敏感性可能会在类似的请求中产生不一致的结果。
- 如果访问控制薄弱，敏感文本数据可能会暴露。
后续步骤
- 在推出之前定义输出格式、语气和质量标准。
- 当准确性很重要时，请使用可信来源进行地面响应。
- 为高风险输出保留人工审查检查点。
- 跟踪故障模式并定期重新训练提示或工作流程。
不断探索
常见问题
什么是序列到序列模型？
序列到序列（seq2seq）模型对输入序列进行编码并生成输出序列，输出序列的长度可能不同。注意力机制在解码过程中提供了对源上下文的访问。
序列到序列模型的两个主要组成部分是什么？
编码器读取并压缩输入，解码器生成输出序列。
Attention机制在seq2seq模型中解决了什么关键问题？
注意力机制让解码器访问所有编码器状态，而不是依赖单个压缩向量，从而修复长句性能。
2014 年最初的 seq2seq 翻译模型使用什么架构？
苏茨克韦尔等人。使用堆叠 LSTM 循环网络作为编码器和解码器。
注意力如何为每个解码步骤构建上下文？
注意力机制为编码器状态分配权重，因此每个输出步骤都集中在最相关的输入位置。
为什么 seq2seq 输出的长度与输入的长度不同？
解码器以自回归方式生成，并且可以在序列结束标记处停止，从而允许可变的输出长度。