T5 和文字到文字傳輸
T5（文字到文字傳輸轉換器），來自 2019 年的 Google，將每個 NLP 任務、翻譯、摘要、分類，甚至回歸，重新定義為輸入文字和輸出文字。
概述
This single unified format lets one model and one training recipe handle dozens of tasks.
深入探討
T5 的中心思想是任何語言任務都可以轉換為文字到文字：輸入是帶有任務前綴的字串，輸出始終是字串。翻譯變成“將英語翻譯成德語：...”，生成德語文本；情緒變成“sst2句子：...”，產生字面詞“積極”或“消極”。它使用完整的編碼器-解碼器 Transformer，與僅編碼器的 BERT 或僅解碼器的 GPT 不同。 T5 在 C4 語料庫（Colossal Clean Crawled Corpus，約 750GB 的乾淨網路文字）上進行預訓練，目標是跨度損壞：標記的隨機跨度被屏蔽並替換為哨兵標記，並且模型學習生成缺失的跨度。隨附的研究系統地比較了架構、目標和資料集大小，以找到傳輸效果最好的方式。
技術洞察
T5 的預訓練掩蓋了連續的跨度而不是單一標記。每個屏蔽的範圍都被輸入中的唯一哨兵標記替換，並且解碼器生成哨兵，後跟其原始內容。這種跨距損壞去噪比 BERT 的單標記遮罩更有效。具有完全交叉注意力的編碼器-解碼器設計使解碼器能夠處理整個編碼輸入，同時產生自回歸輸出。
戰略影響
速度與規模
語言工作流程可以在不犧牲一致性的情況下更快地移動。
交通與覆蓋範圍
它擴展了跨語言和溝通方式的訪問。
更明確的決策
團隊可以花更多時間進行判斷，而自動化則可以處理重複。
T5 和文字到文字傳輸的未來
文字到文字範式產生了巨大的影響力：像 FLAN-T5 這樣的指令調整後代泛化到自然語言指令中看不見的任務，而統一格式預示著當今提示驅動的大型語言模型。預計將繼續使用 T5 編碼器-解碼器進行摘要、翻譯和結構化生成，以及 mT5 等多語言變體和注重效率的後繼者，即使僅解碼器模型在開放式聊天應用程式中占主導地位。
現實世界的實施
摘要摘要：在文章前面加上「summarize:」前綴可以讓 T5 用自己的話產生簡潔的摘要。
機器翻譯：單一 T5 模型可透過「將英文翻譯成法文：」等前綴處理多種語言對。
FLAN-T5 遵循自然語言指令進行問題回答和推理，無需針對特定任務進行再訓練。
閉卷問答：T5 利用儲存在其權重中的知識，直接以產生的文本形式回答事實問題。
風險與防護欄
幻覺的事實可以悄悄地進入報告、支持流程或研究成果。
及時的敏感性可能會在類似的請求中產生不一致的結果。
如果存取控制薄弱，敏感文字資料可能會暴露。
實施路線圖
在推出之前定義輸出格式、語氣和品質標準。
當準確性很重要時，請使用可信任來源進行地面回應。
為高風險輸出保留人工審查檢查點。
追蹤故障模式並定期重新訓練提示或工作流程。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the T5 and Text-to-Text Transfer quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is T5 and Text-to-Text Transfer?
T5（文字到文字傳輸轉換器），來自 2019 年的 Google，將每個 NLP 任務、翻譯、摘要、分類，甚至回歸，重新定義為輸入文字和輸出文字。這種單一的統一格式可以讓一個模型和一個訓練配方處理數十項任務。
T5 背後的定義理念是什麼？
T5 使用任務前綴將翻譯、摘要、分類等轉換為單一文字到文字格式。
T5採用什麼Transformer架構？
與僅編碼器的 BERT 或僅解碼器的 GPT 不同，T5 使用具有交叉注意力的完整編碼器-解碼器 Transformer。
T5 主要使用什麼預訓練目標？
T5 屏蔽隨機的令牌跨度，用哨兵取代每個令牌，並訓練解碼器重現遺失的跨度。
T5 在什麼語料庫上進行預訓練？
T5 在 C4 上進行訓練，C4 是 Common Crawl 網路文字的大約 750GB 的清理子集。
T5如何表示情緒分析這樣的分類任務？
因為一切都是文本到文本，所以 T5 將類別標籤作為單字字串而不是數字類別索引發出。