概述
它是許多語言和多模式模型的基礎。該架構提供了一種處理表示的方法;它本身並沒有建立事實、理解或安全行為。
重點摘要
- 注意力結合了不同職位的資訊。
- 架構變體服務於不同的訓練目標。
- 長上下文能力需要針對特定任務的測試。
深入探討
注意力計算一個位置應該從其他位置獲取多少資訊。在常見的公式中,學習的投影會產生查詢、鍵和值。查詢鍵比較決定用於組合值的權重。多個注意力頭允許在一層內進行多個這樣的組合。變壓器層還包括其他操作,例如前饋網路、歸一化和殘差連接。需要位置資訊是因為單字或其他序列元素的順序很重要。具體實現的不同之處在於它們如何表示位置和安排這些操作。 2017 年最初的 Transformer 使用編碼器-解碼器設計進行翻譯。後來的模型針對不同的目標使用僅編碼器、僅解碼器或編碼器-解碼器佈置。因果語言模型可防止位置在下一個標記預測期間專注於未來標記。此約束不同於完整輸入的雙向處理。對長序列的關注在計算上可能是昂貴的。實際系統使用各種最佳化,但廣告中的上下文限制並不能證明模型可靠地使用長文件的每個部分。根據您的應用程式所需的實際長度測試檢索、推理和指令。
04工作範例
透過上下文追蹤引用
考慮一下發明的文字“機器人移動了板條箱,因為它擋住了門口。”
「它」這個詞可能需要上下文才能解決。注意力機制可以在計算表示時結合來自其他位置的資訊。
將句子更改為「機器人移動了板條箱,因為它需要充電。」測試完整模型的解釋,而不是假設注意力圖證明了正確的參考解析度。
它顯示了什麼
這個例子說明了上下文處理,但沒有聲稱每個轉換器都能正確解決歧義。
現實世界的實施
對文件進行編碼以進行分類。
使用因果注意力一次產生一個標記的反應。
付諸實踐
為什麼這很重要
- 速度與規模. 語言工作流程可以在不犧牲一致性的情況下更快地移動。
- 交通與覆蓋範圍. 它擴展了跨語言和溝通方式的訪問。
- 更明確的決策. 團隊可以花更多時間進行判斷,而自動化則可以處理重複。
留意
- 幻覺的事實可以悄悄地進入報告、支持流程或研究成果。
- 及時的敏感性可能會在類似的請求中產生不一致的結果。
- 如果存取控制薄弱,敏感文字資料可能會暴露。
後續步驟
- 在推出之前定義輸出格式、語氣和品質標準。
- 當準確性很重要時,請使用可信任來源進行地面回應。
- 為高風險輸出保留人工審查檢查點。
- 追蹤故障模式並定期重新訓練提示或工作流程。
資料來源與延伸閱讀
- Vaswani and colleagues您所需要的就是關注
不斷探索
常見問題
所有變形金剛都是聊天機器人嗎?
不會。 Transformers 可以支援分類、翻譯、檢索、視覺、音訊等任務;聊天機器人是圍繞模型和附加系統構建的應用程式。