Arquiteturas codificador-decodificador
As arquiteturas codificador-decodificador dividem um modelo em duas metades: uma que lê e compacta uma entrada em uma representação interna rica e outra que gera uma saída a partir dela.
Visão geral
This design powers translation, summarization, and any task where the input and output are different sequences.
Mergulho profundo
Um modelo codificador-decodificador processa um problema em dois estágios. O codificador lê toda a sequência de entrada (digamos, uma frase em inglês) e a transforma em um conjunto de vetores contextuais que capturam o significado. O decodificador então produz a sequência de saída (digamos, francês), um token por vez, analisando suas próprias saídas anteriores e as representações do codificador. O Transformer 2017 original era um codificador-decodificador construído para tradução. Modelos como T5 e BART usam essa forma e enquadram cada tarefa como entrada e saída de texto. A divisão é poderosa porque o codificador pode ver toda a entrada de uma vez (contexto bidirecional), enquanto o decodificador gera da esquerda para a direita. Isso torna o projeto um ajuste natural para problemas de sequência a sequência, onde o comprimento e o conteúdo da saída diferem da entrada.
Visão Técnica
O codificador usa autoatenção bidirecional, de modo que cada token de entrada atenda a todos os outros tokens de uma só vez. O decodificador é autorregressivo e usa autoatenção mascarada, o que significa que cada posição só pode ver as posições anteriores para preservar a geração causal. Conectá-los é uma atenção cruzada: as camadas do decodificador consultam os estados ocultos finais do codificador. Essa separação permite que o codificador construa um entendimento completo e independente de ordem, enquanto o decodificador se compromete com um token por vez.
Impacto Estratégico
Velocidade e escala
Os fluxos de trabalho de idiomas podem avançar mais rapidamente sem sacrificar a consistência.
Acesso e alcance
Ele expande o acesso entre idiomas e estilos de comunicação.
Decisões mais claras
As equipes podem gastar mais tempo julgando enquanto a automação cuida da repetição.
O futuro das arquiteturas codificador-decodificador
Modelos somente decodificadores, como GPT, agora dominam o bate-papo de uso geral porque uma única pilha é dimensionada de maneira simples e lida com muitas tarefas por meio de prompts. Mas os projetos de codificador-decodificador persistem onde a compreensão de entrada e a geração de saída são genuinamente distintas: reconhecimento de fala (Whisper), resumo de documentos e sistemas multimodais que emparelham um codificador de visão com um decodificador de texto. Espere arquiteturas híbridas que utilizem a compreensão bidirecional do codificador para recuperação e aterramento, mantendo a flexibilidade do decodificador, especialmente à medida que os modelos fundem texto, áudio e imagens.
Implementação no mundo real
Google Translate e DeepL usam transformadores codificadores-decodificadores para mapear uma frase de um idioma para outro.
O Whisper de OpenAI codifica espectrogramas de áudio e os decodifica em texto transcrito ou traduzido.
T5 e BART potencializam a sumarização abstrativa, condensando artigos longos em resumos curtos.
Os sistemas de legendagem de imagens emparelham um codificador de visão com um decodificador de texto para descrever fotos em palavras.
Riscos e guarda-corpos
Fatos alucinados podem entrar silenciosamente em relatórios, fluxos de apoio ou resultados de pesquisas.
A sensibilidade do prompt pode criar resultados inconsistentes em solicitações semelhantes.
Dados de texto confidenciais podem ser expostos se os controles de acesso forem fracos.
Roteiro de implementação
Defina o formato de saída, o tom e os padrões de qualidade antes da implementação.
Respostas terrestres com fontes confiáveis sempre que a precisão for importante.
Mantenha um ponto de verificação de revisão humana para resultados de alto risco.
Rastreie padrões de falha e treine novamente prompts ou fluxos de trabalho regularmente.
Continue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Encoder-Decoder Architectures quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Próximo guia
Codificadores cruzados vs bi-codificadores
Perguntas frequentes
What is Encoder-Decoder Architectures?
As arquiteturas codificador-decodificador dividem um modelo em duas metades: uma que lê e compacta uma entrada em uma representação interna rica e outra que gera uma saída a partir dela. Esse design potencializa a tradução, o resumo e qualquer tarefa em que a entrada e a saída sejam sequências diferentes.
Qual é a principal função do codificador em um modelo codificador-decodificador?
O codificador consome toda a sequência de entrada e produz vetores contextuais que capturam seu significado, que o decodificador então utiliza.
Por que o decodificador usa autoatenção mascarada (causal)?
O mascaramento garante que cada posição de saída atenda apenas às posições anteriores, preservando a ordem de geração autoregressiva da esquerda para a direita.
Que mecanismo conecta o decodificador às representações do codificador?
A atenção cruzada permite que cada camada do decodificador consulte os estados ocultos do codificador, vinculando a compreensão da entrada à geração da saída.
Qual desses modelos é uma arquitetura codificador-decodificador (sequência a sequência)?
T5 (e BART) são modelos clássicos de codificador-decodificador que enquadram tarefas como texto para texto. BERT é apenas codificador e GPT-3 é apenas decodificador.
Por que o design do codificador-decodificador é uma solução natural para tradução?
A tradução mapeia uma sequência para outra diferente, portanto, ler toda a fonte (codificador) e gerar um novo destino (decodificador) se encaixa perfeitamente.