語言人工智慧指南

交叉注意力

交叉注意力讓來自一種表示的查詢專注於來自另一種表示的鍵和值。

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. 交叉注意力的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

它用於連接來源序列和目標序列或不同的模式。

深入探討

交叉注意力讓來自一種表示的查詢專注於另一種表示的鍵和值。 Transformer 在編碼器-解碼器層中使用它;潛在擴散將其用於文字條件生成。 Flamingo 使用門控交叉注意力層將視覺特徵連接到語言模型,旨在攝取任意交錯的視覺和文字輸入,包括圖像或影片。這些是特定於架構的範例,而不是通用的多模式設計。在 Flamingo 中,交叉注意力區塊由初始化為零的 tanh 變換的學習標量進行門控;這是一種特定於架構的控制,而不是關於跨多模式系統使用交叉注意力的頻率的聲明。

現實世界的實施

在編碼器-解碼器 Transformer 中,解碼器查詢關注編碼器輸出。

潛在擴散模型使用交叉注意力來調節文字嵌入上的圖像潛在。

Flamingo 插入交叉注意力層,以便語言模型可以使用視覺特徵。

不同的序列長度是可能的,因為查詢和鍵值上下文不需要具有匹配的長度。

交叉注意力的未來

檢查多模式模型時,確定哪個流提供查詢以及哪個流提供鍵和值。評估相關模式的一致性和失敗案例。引用的論文並未建立通用的交叉注意力設計。

付諸實踐

為什麼這很重要

  • 速度與規模. 語言工作流程可以在不犧牲一致性的情況下更快地移動。
  • 交通與覆蓋範圍. 它擴展了跨語言和溝通方式的訪問。
  • 更明確的決策. 團隊可以花更多時間進行判斷,而自動化則可以處理重複。

留意

  • 幻覺的事實可以悄悄地進入報告、支持流程或研究成果。
  • 及時的敏感性可能會在類似的請求中產生不一致的結果。
  • 如果存取控制薄弱,敏感文字資料可能會暴露。

後續步驟

  1. 在推出之前定義輸出格式、語氣和品質標準。
  2. 當準確性很重要時,請使用可信任來源進行地面回應。
  3. 為高風險輸出保留人工審查檢查點。
  4. 追蹤故障模式並定期重新訓練提示或工作流程。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加交叉注意力測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是交叉注意力?

交叉注意力讓來自一種表示的查詢專注於來自另一種表示的鍵和值。它用於連接來源序列和目標序列或不同的模式。

自註意力和交叉注意力之間的主要區別是什麼?

交叉注意力從一個序列(例如解碼器)中提取查詢,並從另一個序列(例如編碼器)中提取鍵和值,讓兩者進行互動。

在編碼器-解碼器 Transformer 中,交叉注意力的查詢來自哪裡?

解碼器從其部分產生的輸出中形成查詢,然後使用編碼器輸出作為鍵和值來提取相關的輸入資訊。

為什麼交叉注意力中的兩個序列可以有不同的長度或模式?

由於查詢源自於一個來源而鍵/值來自另一個來源,因此序列是獨立的,並且可能在長度、語言或模式方面有所不同。

穩定擴散如何使用交叉注意力?

交叉注意力讓生成圖像的每個部分都專注於文字提示,將視覺效果紮根於單字。

交叉注意力與自註意力分享什麼數學運算?

兩者都使用相同的縮放點積注意力:查詢和鍵之間的相似度分數,softmax,然後是值的加權和。