A seguirPróximo guia
Redes de Transformadores Espaciais
IA visual
GUIA visual de IA
Transformadores de Difusão
Os Transformadores de Difusão (DiTs) trocam a U-Net convolucional no centro dos geradores de imagem e vídeo por um backbone de Transformador.
Ouça este guiaNarrado por IA · ~2 min
Nesta página2 minutos de leitura
Visão geral
This architecture powers leading systems like Stable Diffusion 3 and OpenAI's Sora, and it scales remarkably well as you add compute.
Mergulho profundo
Os modelos de difusão geram imagens começando com ruído puro e eliminando-o iterativamente em uma imagem coerente. Durante anos, a rede que fazia essa eliminação de ruído era uma U-Net, uma arquitetura convolucional. O Diffusion Transformer, introduzido por Peebles e Xie em 2022, substitui o U-Net por um Transformer. A imagem é primeiro comprimida num espaço latente, dividida em pequenas manchas, e cada mancha torna-se um símbolo, tal como as palavras num modelo de linguagem. O Transformer então processa esses tokens com atenção própria em cada etapa de remoção de ruído. Uma descoberta importante foi que o desempenho do DiT melhora de forma previsível à medida que você aumenta o tamanho do modelo e reduz o tamanho do patch, seguindo leis de escala limpa. Essa escalabilidade é a razão pela qual os sistemas de texto para vídeo e de texto para imagem de última geração migraram em grande parte para os backbones do Transformer.
Implementação no mundo real
O Sora de OpenAI usa um backbone Transformer sobre patches de espaço-tempo para gerar vídeos de alta fidelidade com duração de um minuto a partir de prompts de texto.
O Stable Diffusion 3 adota um transformador de difusão multimodal (MMDiT) para alinhar melhor as imagens geradas com descrições de texto detalhadas.
Os pesquisadores dimensionam um DiT para bilhões de parâmetros e observam a qualidade da imagem melhorando de forma previsível, orientando as decisões de orçamento computacional.
Um estúdio usa um modelo baseado em DiT para estender clipes curtos, tratando quadros de vídeo extras como tokens de patch adicionais para eliminar ruído.
O futuro dos transformadores de difusão
Os transformadores de difusão estão se tornando a espinha dorsal padrão para mídia generativa. Seu design baseado em token os torna naturais para unificar imagens, vídeos e até mesmo geração multimodal em uma arquitetura escalonável. A pesquisa está buscando vídeos mais longos, maior resolução e atenção mais eficiente para controlar o custo quadrático de muitos tokens. Espere uma convergência entre modelos de linguagem e visão, onde receitas e infraestruturas de escalabilidade semelhantes do Transformer sirvam a ambos, acelerando o progresso em modelos mundiais e vídeos interativos.
Colocando em prática
Por que isso importa
- Velocidade e escala. A IA visual pode automatizar tarefas de inspeção, detecção e marcação em grande escala.
- Escolhas de construção. As equipes criativas podem criar protótipos de conceitos mais rapidamente e com menos revisões manuais.
- Equipe e fluxo de trabalho. As operações podem usar sinais de imagem e vídeo que antes eram difíceis de processar.
Cuidado com
- Os direitos de imagem e o consentimento podem tornar-se riscos legais se a proveniência não for clara.
- O desempenho do modelo pode variar dependendo da iluminação, dados demográficos e ambientes.
- Os falsos positivos podem passar despercebidos, a menos que os limites de confiança sejam monitorados.
Próximas etapas
- Defina critérios de aceitação para precisão, recall e custos de erro.
- Teste com dados que correspondam às condições reais de produção.
- Adicione revisão humana para previsões de baixa confiança ou de alto impacto.
- Rastreie o desvio do modelo e revalide após alterações na câmera ou no conjunto de dados.
Continue explorando
Boletim informativo gratuito
Receba o resumo diário de IA
Três histórias verificadas de IA a cada manhã de dia útil, escritas em linguagem simples. Gratuito para sempre, sem anúncios.
Um e-mail a cada dia útil. Cancele a inscrição com um clique. Nunca vendemos ou compartilhamos seu endereço.
Teste você mesmo
Take the Diffusion Transformers quiz
Feedback instantâneo sobre cada resposta e um certificado compartilhável com um ID verificável assim que você concluir um curso.
Apoie a educação gratuita em IA. O AI Understanding é uma organização sem fins lucrativos 501(c)(3) — sem anúncios, sem paywall, nunca. Faça uma doação
Perguntas frequentes
What is Diffusion Transformers?
Os Transformadores de Difusão (DiTs) trocam a U-Net convolucional no centro dos geradores de imagem e vídeo por um backbone de Transformador. Essa arquitetura alimenta sistemas líderes como Stable Diffusion 3 e OpenAI's Sora, e é escalonável notavelmente bem à medida que você adiciona computação.
Qual componente um Transformador de Difusão substitui em comparação com os modelos de difusão tradicionais?
Os DiTs substituem a U-Net, a rede convolucional que realizava a remoção de ruído, por um backbone Transformer.
Como um DiT transforma uma imagem em algo que um Transformer pode processar?
A imagem latente é dividida em pequenas manchas, e cada mancha se torna um token, análogo às palavras de um modelo de linguagem.
O que o artigo original do DiT descobriu sobre o dimensionamento?
A qualidade do DiT melhora de maneira limpa e previsível à medida que você aumenta a computação do modelo e usa patches menores, seguindo as leis de dimensionamento.
Como os DiTs normalmente injetam condicionamento como timestep e prompt de texto?
DiTs usam normalização de camada adaptativa para prever parâmetros de escala e deslocamento para camadas de normalização a partir do sinal de condicionamento.
O que a inicialização 'adaLN-zero' realiza?
O adaLN-zero inicializa a modulação para que cada bloco atue inicialmente como identidade, o que estabiliza e melhora o treinamento.
Continue aprendendo
Guias relacionados
Mais guias escolhidos para este tópico