A seguirPróximo guia
Extração de relação do texto
IA de linguagem
GUIA de IA de linguagem
T5 e transferência de texto para texto
T5 (Transformador de transferência de texto para texto), de Google em 2019, reformula todas as tarefas de PNL, tradução, resumo, classificação e até regressão, como alimentação e saída de texto.
Ouça este guiaNarrado por IA · ~2 min
Nesta página2 minutos de leitura
Visão geral
This single unified format lets one model and one training recipe handle dozens of tasks.
Mergulho profundo
A ideia central do T5 é que qualquer tarefa de linguagem pode ser convertida como texto para texto: a entrada é uma string com um prefixo de tarefa e a saída é sempre uma string. A tradução torna-se 'traduzir inglês para alemão: ...' produzindo texto em alemão; o sentimento torna-se 'frase sst2: ...' produzindo a palavra literal 'positivo' ou 'negativo'. Ele usa um transformador codificador-decodificador completo, ao contrário do BERT somente codificador ou do GPT somente decodificador. T5 foi pré-treinado no corpus C4 (Colossal Clean Crawled Corpus, ~750GB de texto da web limpo) com um objetivo de corrupção de extensão: extensões aleatórias de tokens são mascaradas e substituídas por tokens sentinela, e o modelo aprende a gerar as extensões ausentes. O estudo que acompanha comparou sistematicamente arquiteturas, objetivos e tamanhos de conjuntos de dados para descobrir o que transfere melhor.
Implementação no mundo real
Sumarização abstrativa: prefixar 'resumir:' antes de um artigo faz com que o T5 gere um resumo conciso com suas próprias palavras.
Tradução automática: um único modelo T5 lida com vários pares de idiomas por meio de prefixos como 'traduzir inglês para francês:'.
O FLAN-T5 segue instruções em linguagem natural para responder perguntas e raciocinar sem treinamento específico para tarefas.
Resposta a perguntas de livro fechado: T5 responde a perguntas factuais diretamente como texto gerado, valendo-se do conhecimento armazenado em seus pesos.
O futuro do T5 e da transferência de texto para texto
O paradigma texto-para-texto tornou-se extremamente influente: descendentes sintonizados com instruções, como FLAN-T5, generalizam para tarefas invisíveis a partir de instruções em linguagem natural, e o formato unificado prenunciou os atuais modelos de linguagem de grande porte orientados por prompts. Espere o uso contínuo de codificadores-decodificadores T5 para resumo, tradução e geração estruturada, além de variantes multilíngues como mT5 e sucessores focados na eficiência, mesmo que os modelos somente decodificadores dominem os aplicativos de bate-papo abertos.
Colocando em prática
Por que isso importa
- Velocidade e escala. Os fluxos de trabalho de idiomas podem avançar mais rapidamente sem sacrificar a consistência.
- Acesso e alcance. Ele expande o acesso entre idiomas e estilos de comunicação.
- Decisões mais claras. As equipes podem gastar mais tempo julgando enquanto a automação cuida da repetição.
Cuidado com
- Fatos alucinados podem entrar silenciosamente em relatórios, fluxos de apoio ou resultados de pesquisas.
- A sensibilidade do prompt pode criar resultados inconsistentes em solicitações semelhantes.
- Dados de texto confidenciais podem ser expostos se os controles de acesso forem fracos.
Próximas etapas
- Defina o formato de saída, o tom e os padrões de qualidade antes da implementação.
- Respostas terrestres com fontes confiáveis sempre que a precisão for importante.
- Mantenha um ponto de verificação de revisão humana para resultados de alto risco.
- Rastreie padrões de falha e treine novamente prompts ou fluxos de trabalho regularmente.
Continue explorando
Boletim informativo gratuito
Receba o resumo diário de IA
Três histórias verificadas de IA a cada manhã de dia útil, escritas em linguagem simples. Gratuito para sempre, sem anúncios.
Um e-mail a cada dia útil. Cancele a inscrição com um clique. Nunca vendemos ou compartilhamos seu endereço.
Teste você mesmo
Take the T5 and Text-to-Text Transfer quiz
Feedback instantâneo sobre cada resposta e um certificado compartilhável com um ID verificável assim que você concluir um curso.
Apoie a educação gratuita em IA. O AI Understanding é uma organização sem fins lucrativos 501(c)(3) — sem anúncios, sem paywall, nunca. Faça uma doação
Perguntas frequentes
What is T5 and Text-to-Text Transfer?
T5 (Transformador de transferência de texto para texto), de Google em 2019, reformula todas as tarefas de PNL, tradução, resumo, classificação e até regressão, como alimentação e saída de texto. Esse formato único e unificado permite que um modelo e uma receita de treinamento lidem com dezenas de tarefas.
Qual é a ideia definidora por trás do T5?
T5 converte tradução, resumo, classificação e muito mais em um único formato de texto para texto usando prefixos de tarefas.
Qual arquitetura do Transformer o T5 usa?
Ao contrário do BERT somente codificador ou do GPT somente decodificador, o T5 usa um transformador codificador-decodificador completo com atenção cruzada.
Qual objetivo de pré-treinamento o T5 usa principalmente?
O T5 mascara extensões aleatórias de tokens, substitui cada uma por uma sentinela e treina o decodificador para reproduzir as extensões ausentes.
Em qual corpus o T5 foi pré-treinado?
O T5 foi treinado em C4, um subconjunto limpo de aproximadamente 750 GB de texto da Web Common Crawl.
Como o T5 representa uma tarefa de classificação como a análise de sentimento?
Como tudo é texto para texto, o T5 emite o rótulo da classe como uma string de palavras em vez de um índice de classe numérico.
Continue aprendendo
Guias relacionados
Mais guias escolhidos para este tópico