T5 e transferência de texto para texto
T5 (Transformador de transferência de texto para texto), de Google em 2019, reformula todas as tarefas de PNL, tradução, resumo, classificação e até regressão, como alimentação e saída de texto.
Visão geral
This single unified format lets one model and one training recipe handle dozens of tasks.
Mergulho profundo
A ideia central do T5 é que qualquer tarefa de linguagem pode ser convertida como texto para texto: a entrada é uma string com um prefixo de tarefa e a saída é sempre uma string. A tradução torna-se 'traduzir inglês para alemão: ...' produzindo texto em alemão; o sentimento torna-se 'frase sst2: ...' produzindo a palavra literal 'positivo' ou 'negativo'. Ele usa um transformador codificador-decodificador completo, ao contrário do BERT somente codificador ou do GPT somente decodificador. T5 foi pré-treinado no corpus C4 (Colossal Clean Crawled Corpus, ~750GB de texto da web limpo) com um objetivo de corrupção de extensão: extensões aleatórias de tokens são mascaradas e substituídas por tokens sentinela, e o modelo aprende a gerar as extensões ausentes. O estudo que acompanha comparou sistematicamente arquiteturas, objetivos e tamanhos de conjuntos de dados para descobrir o que transfere melhor.
Visão Técnica
O pré-treinamento do T5 mascara extensões contíguas em vez de tokens únicos. Cada extensão mascarada é substituída por um token sentinela exclusivo na entrada, e o decodificador produz as sentinelas seguidas de seu conteúdo original. Essa eliminação de ruído de corrupção de extensão é mais eficiente do que o mascaramento de token único do BERT. O design codificador-decodificador com atenção cruzada total permite que o decodificador atenda a toda a entrada codificada enquanto gera a saída de forma autorregressiva.
Impacto Estratégico
Velocidade e escala
Os fluxos de trabalho de idiomas podem avançar mais rapidamente sem sacrificar a consistência.
Acesso e alcance
Ele expande o acesso entre idiomas e estilos de comunicação.
Decisões mais claras
As equipes podem gastar mais tempo julgando enquanto a automação cuida da repetição.
O futuro do T5 e da transferência de texto para texto
O paradigma texto-para-texto tornou-se extremamente influente: descendentes sintonizados com instruções, como FLAN-T5, generalizam para tarefas invisíveis a partir de instruções em linguagem natural, e o formato unificado prenunciou os atuais modelos de linguagem de grande porte orientados por prompts. Espere o uso contínuo de codificadores-decodificadores T5 para resumo, tradução e geração estruturada, além de variantes multilíngues como mT5 e sucessores focados na eficiência, mesmo que os modelos somente decodificadores dominem os aplicativos de bate-papo abertos.
Implementação no mundo real
Sumarização abstrativa: prefixar 'resumir:' antes de um artigo faz com que o T5 gere um resumo conciso com suas próprias palavras.
Tradução automática: um único modelo T5 lida com vários pares de idiomas por meio de prefixos como 'traduzir inglês para francês:'.
O FLAN-T5 segue instruções em linguagem natural para responder perguntas e raciocinar sem treinamento específico para tarefas.
Resposta a perguntas de livro fechado: T5 responde a perguntas factuais diretamente como texto gerado, valendo-se do conhecimento armazenado em seus pesos.
Riscos e guarda-corpos
Fatos alucinados podem entrar silenciosamente em relatórios, fluxos de apoio ou resultados de pesquisas.
A sensibilidade do prompt pode criar resultados inconsistentes em solicitações semelhantes.
Dados de texto confidenciais podem ser expostos se os controles de acesso forem fracos.
Roteiro de implementação
Defina o formato de saída, o tom e os padrões de qualidade antes da implementação.
Respostas terrestres com fontes confiáveis sempre que a precisão for importante.
Mantenha um ponto de verificação de revisão humana para resultados de alto risco.
Rastreie padrões de falha e treine novamente prompts ou fluxos de trabalho regularmente.
Continue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the T5 and Text-to-Text Transfer quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Próximo guia
Extração de relação do texto
Perguntas frequentes
What is T5 and Text-to-Text Transfer?
T5 (Transformador de transferência de texto para texto), de Google em 2019, reformula todas as tarefas de PNL, tradução, resumo, classificação e até regressão, como alimentação e saída de texto. Esse formato único e unificado permite que um modelo e uma receita de treinamento lidem com dezenas de tarefas.
Qual é a ideia definidora por trás do T5?
T5 converte tradução, resumo, classificação e muito mais em um único formato de texto para texto usando prefixos de tarefas.
Qual arquitetura do Transformer o T5 usa?
Ao contrário do BERT somente codificador ou do GPT somente decodificador, o T5 usa um transformador codificador-decodificador completo com atenção cruzada.
Qual objetivo de pré-treinamento o T5 usa principalmente?
O T5 mascara extensões aleatórias de tokens, substitui cada uma por uma sentinela e treina o decodificador para reproduzir as extensões ausentes.
Em qual corpus o T5 foi pré-treinado?
O T5 foi treinado em C4, um subconjunto limpo de aproximadamente 750 GB de texto da Web Common Crawl.
Como o T5 representa uma tarefa de classificação como a análise de sentimento?
Como tudo é texto para texto, o T5 emite o rótulo da classe como uma string de palavras em vez de um índice de classe numérico.