T5 和文本到文本传输
T5（文本到文本传输转换器），来自 2019 年的 Google，将每个 NLP 任务、翻译、摘要、分类，甚至回归，重新定义为输入文本和输出文本。
概述
This single unified format lets one model and one training recipe handle dozens of tasks.
深入探讨
T5 的中心思想是任何语言任务都可以转换为文本到文本：输入是带有任务前缀的字符串，输出始终是字符串。翻译变成“将英语翻译成德语：...”，生成德语文本；情绪变成“sst2句子：...”，产生字面词“积极”或“消极”。它使用完整的编码器-解码器 Transformer，与仅编码器的 BERT 或仅解码器的 GPT 不同。 T5 在 C4 语料库（Colossal Clean Crawled Corpus，约 750GB 的干净网络文本）上进行预训练，目标是跨度损坏：标记的随机跨度被屏蔽并替换为哨兵标记，并且模型学习生成缺失的跨度。随附的研究系统地比较了架构、目标和数据集大小，以找到传输效果最好的方式。
技术洞察
T5 的预训练掩盖了连续的跨度而不是单个标记。每个屏蔽的范围都被输入中的唯一哨兵标记替换，并且解码器生成哨兵，后跟其原始内容。这种跨度损坏去噪比 BERT 的单标记掩码更有效。具有完全交叉注意力的编码器-解码器设计使解码器能够处理整个编码输入，同时生成自回归输出。
战略影响
速度与规模
语言工作流程可以在不牺牲一致性的情况下更快地移动。
交通与覆盖范围
它扩展了跨语言和沟通方式的访问。
更清晰的判决
团队可以花更多时间进行判断，而自动化则可以处理重复。
T5 和文本到文本传输的未来
文本到文本范式产生了巨大的影响力：像 FLAN-T5 这样的指令调整后代泛化到自然语言指令中看不见的任务，而统一格式预示着当今提示驱动的大型语言模型。预计将继续使用 T5 编码器-解码器进行摘要、翻译和结构化生成，以及 mT5 等多语言变体和注重效率的后继者，即使仅解码器模型在开放式聊天应用程序中占主导地位。
现实世界的实施
摘要摘要：在文章前添加“summarize:”前缀可以使 T5 用自己的话生成简洁的摘要。
机器翻译：单个 T5 模型可通过“将英语翻译成法语：”等前缀处理多种语言对。
FLAN-T5 遵循自然语言指令进行问题回答和推理，无需针对特定任务进行再训练。
闭卷问答：T5 利用存储在其权重中的知识，直接以生成的文本形式回答事实问题。
风险与防护栏
幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
及时的敏感性可能会在类似的请求中产生不一致的结果。
如果访问控制薄弱，敏感文本数据可能会暴露。
实施路线图
在推出之前定义输出格式、语气和质量标准。
当准确性很重要时，请使用可信来源进行地面响应。
为高风险输出保留人工审查检查点。
跟踪故障模式并定期重新训练提示或工作流程。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the T5 and Text-to-Text Transfer quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is T5 and Text-to-Text Transfer?
T5（文本到文本传输转换器），来自 2019 年的 Google，将每个 NLP 任务、翻译、摘要、分类，甚至回归，重新定义为输入文本和输出文本。这种单一的统一格式可以让一个模型和一个训练配方处理数十项任务。
T5 背后的定义理念是什么？
T5 使用任务前缀将翻译、摘要、分类等转换为单一文本到文本格式。
T5采用什么Transformer架构？
与仅编码器的 BERT 或仅解码器的 GPT 不同，T5 使用具有交叉注意力的完整编码器-解码器 Transformer。
T5 主要使用什么预训练目标？
T5 屏蔽随机的令牌跨度，用哨兵替换每个令牌，并训练解码器重现丢失的跨度。
T5 在什么语料库上进行预训练？
T5 在 C4 上进行训练，C4 是 Common Crawl 网络文本的大约 750GB 的清理子集。
T5如何表示情感分析这样的分类任务？
因为一切都是文本到文本，所以 T5 将类标签作为单词字符串而不是数字类索引发出。