概述
它用於連接來源序列和目標序列或不同的模式。
深入探討
交叉注意力讓來自一種表示的查詢專注於另一種表示的鍵和值。 Transformer 在編碼器-解碼器層中使用它;潛在擴散將其用於文字條件生成。 Flamingo 使用門控交叉注意力層將視覺特徵連接到語言模型,旨在攝取任意交錯的視覺和文字輸入,包括圖像或影片。這些是特定於架構的範例,而不是通用的多模式設計。在 Flamingo 中,交叉注意力區塊由初始化為零的 tanh 變換的學習標量進行門控;這是一種特定於架構的控制,而不是關於跨多模式系統使用交叉注意力的頻率的聲明。
現實世界的實施
在編碼器-解碼器 Transformer 中,解碼器查詢關注編碼器輸出。
潛在擴散模型使用交叉注意力來調節文字嵌入上的圖像潛在。
Flamingo 插入交叉注意力層,以便語言模型可以使用視覺特徵。
不同的序列長度是可能的,因為查詢和鍵值上下文不需要具有匹配的長度。
交叉注意力的未來
檢查多模式模型時,確定哪個流提供查詢以及哪個流提供鍵和值。評估相關模式的一致性和失敗案例。引用的論文並未建立通用的交叉注意力設計。
付諸實踐
為什麼這很重要
- 速度與規模. 語言工作流程可以在不犧牲一致性的情況下更快地移動。
- 交通與覆蓋範圍. 它擴展了跨語言和溝通方式的訪問。
- 更明確的決策. 團隊可以花更多時間進行判斷,而自動化則可以處理重複。
留意
- 幻覺的事實可以悄悄地進入報告、支持流程或研究成果。
- 及時的敏感性可能會在類似的請求中產生不一致的結果。
- 如果存取控制薄弱,敏感文字資料可能會暴露。
後續步驟
- 在推出之前定義輸出格式、語氣和品質標準。
- 當準確性很重要時,請使用可信任來源進行地面回應。
- 為高風險輸出保留人工審查檢查點。
- 追蹤故障模式並定期重新訓練提示或工作流程。
不斷探索
常見問題
什麼是交叉注意力?
交叉注意力讓來自一種表示的查詢專注於來自另一種表示的鍵和值。它用於連接來源序列和目標序列或不同的模式。
自註意力和交叉注意力之間的主要區別是什麼?
交叉注意力從一個序列(例如解碼器)中提取查詢,並從另一個序列(例如編碼器)中提取鍵和值,讓兩者進行互動。
在編碼器-解碼器 Transformer 中,交叉注意力的查詢來自哪裡?
解碼器從其部分產生的輸出中形成查詢,然後使用編碼器輸出作為鍵和值來提取相關的輸入資訊。
為什麼交叉注意力中的兩個序列可以有不同的長度或模式?
由於查詢源自於一個來源而鍵/值來自另一個來源,因此序列是獨立的,並且可能在長度、語言或模式方面有所不同。
穩定擴散如何使用交叉注意力?
交叉注意力讓生成圖像的每個部分都專注於文字提示,將視覺效果紮根於單字。
交叉注意力與自註意力分享什麼數學運算?
兩者都使用相同的縮放點積注意力:查詢和鍵之間的相似度分數,softmax,然後是值的加權和。