概述
It is used to connect source and target sequences or different modalities.
深入探讨
Cross-attention lets queries from one representation attend to keys and values from another. The Transformer uses this in encoder-decoder layers; latent diffusion uses it for text-conditioned generation. Flamingo uses gated cross-attention layers to connect visual features to a language model and is designed to ingest arbitrarily interleaved visual and textual inputs, including images or video. These are architecture-specific examples, not a universal multimodal design. In Flamingo, cross-attention blocks are gated by a tanh-transformed learned scalar initialized to zero; this is an architecture-specific control and not a claim about how often cross-attention is used across multimodal systems.
现实世界的实施
In an encoder-decoder Transformer, decoder queries attend to encoder outputs.
Latent diffusion models use cross-attention to condition image latents on text embeddings.
Flamingo inserts cross-attention layers so a language model can use visual features.
Different sequence lengths are possible because queries and key-value context need not have matching lengths.
交叉注意力的未来
When inspecting a multimodal model, identify which stream supplies queries and which supplies keys and values. Evaluate alignment and failure cases across the relevant modalities. The cited papers do not establish one universal cross-attention design.
付诸实践
为什么这很重要
- 速度与规模. 语言工作流程可以在不牺牲一致性的情况下更快地移动。
- 交通与覆盖范围. 它扩展了跨语言和沟通方式的访问。
- 更清晰的判决. 团队可以花更多时间进行判断，而自动化则可以处理重复。
留意
- 幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
- 及时的敏感性可能会在类似的请求中产生不一致的结果。
- 如果访问控制薄弱，敏感文本数据可能会暴露。
后续步骤
- 在推出之前定义输出格式、语气和质量标准。
- 当准确性很重要时，请使用可信来源进行地面响应。
- 为高风险输出保留人工审查检查点。
- 跟踪故障模式并定期重新训练提示或工作流程。
不断探索
常见问题
什么是交叉注意力？
Cross-attention lets queries from one representation attend to keys and values from another representation. It is used to connect source and target sequences or different modalities.
自注意力和交叉注意力之间的主要区别是什么？
交叉注意力从一个序列（例如解码器）中提取查询，并从另一序列（例如编码器）中提取键和值，让两者进行交互。
在编码器-解码器 Transformer 中，交叉注意力的查询来自哪里？
解码器从其部分生成的输出中形成查询，然后使用编码器输出作为键和值来提取相关的输入信息。
为什么交叉注意力中的两个序列可以具有不同的长度或模式？
由于查询源自一个源而键/值来自另一个源，因此序列是独立的，并且可能在长度、语言或模式方面有所不同。
稳定扩散如何使用交叉注意力？
交叉注意力让生成图像的每个部分都关注文本提示，将视觉效果扎根于单词中。
交叉注意力与自注意力共享什么数学运算？
两者都使用相同的缩放点积注意力：查询和键之间的相似度分数，softmax，然后是值的加权和。