Transformateurs de diffusion
Les transformateurs de diffusion (DiT) remplacent le réseau U-Net convolutif au cœur des générateurs d'images et de vidéo par un réseau fédérateur de transformateur.
Aperçu
This architecture powers leading systems like Stable Diffusion 3 and OpenAI's Sora, and it scales remarkably well as you add compute.
Plongée profonde
Les modèles de diffusion génèrent des images en partant du bruit pur et en le débruitant de manière itérative en une image cohérente. Pendant des années, le réseau effectuant ce débruitage était un U-Net, une architecture convolutive. Le transformateur de diffusion, introduit par Peebles et Xie en 2022, remplace le U-Net par un transformateur. L’image est d’abord compressée dans un espace latent, divisée en petits patchs, et chaque patch devient un jeton, un peu comme les mots d’un modèle de langage. Le transformateur traite ensuite ces jetons avec attention à chaque étape de débruitage. L'une des principales conclusions est que les performances du DiT s'améliorent de manière prévisible à mesure que vous augmentez la taille du modèle et réduisez la taille des correctifs, en suivant des lois de mise à l'échelle claires. Cette évolutivité est la raison pour laquelle les systèmes texte-vidéo et texte-image haut de gamme ont largement migré vers les backbones Transformer.
Aperçu technique
Une innovation fondamentale réside dans la manière dont les DiT injectent des conditionnements tels que le pas de temps et l'invite de texte. Plutôt qu'une simple concaténation, ils utilisent la normalisation de couche adaptative (adaLN), où le réseau prédit les paramètres d'échelle et de décalage pour les couches de normalisation à partir du signal de conditionnement. La variante adaLN-zero les initialise de sorte que chaque bloc démarre comme une fonction d'identité, stabilisant ainsi l'entraînement. Les patchs sont aplatis en jetons, traités par des blocs Transformer standard avec attention personnelle, puis réassemblés et décodés en pixels.
Impact stratégique
Vitesse et échelle
L’IA visuelle peut automatiser les tâches d’inspection, de détection et de marquage à grande échelle.
Choix de construction
Les équipes créatives peuvent prototyper des concepts plus rapidement avec moins de révisions manuelles.
Équipe et flux de travail
Les opérations peuvent utiliser des signaux d’image et vidéo qui étaient auparavant difficiles à traiter.
L'avenir des transformateurs de diffusion
Les transformateurs de diffusion deviennent l'épine dorsale par défaut des médias génératifs. Leur conception basée sur des jetons les rend naturels pour unifier les images, les vidéos et même la génération multimodale sous une seule architecture évolutive. La recherche s'oriente vers des vidéos plus longues, une résolution plus élevée et une attention plus efficace pour maîtriser le coût quadratique de nombreux jetons. Attendez-vous à une convergence entre les modèles de langage et de vision, où des recettes et une infrastructure de mise à l'échelle similaires de Transformer servent à la fois, accélérant les progrès dans les modèles mondiaux et la vidéo interactive.
Mise en œuvre dans le monde réel
Sora de OpenAI utilise un squelette Transformer sur des correctifs spatio-temporels pour générer des vidéos haute fidélité d'une minute à partir d'invites de texte.
Stable Diffusion 3 adopte un transformateur de diffusion multimodal (MMDiT) pour mieux aligner les images générées avec les descriptions textuelles détaillées.
Les chercheurs adaptent un DiT à des milliards de paramètres et observent une amélioration prévisible de la qualité de l’image, guidant ainsi les décisions en matière de budget de calcul.
Un studio utilise un modèle basé sur DiT pour étendre de courts clips, en traitant les images vidéo supplémentaires comme des jetons de patch supplémentaires à débruiter.
Risques et garde-fous
Les droits à l’image et le consentement peuvent devenir des risques juridiques si la provenance n’est pas claire.
Les performances du modèle peuvent varier en fonction de l'éclairage, des données démographiques et des environnements.
Les faux positifs peuvent passer inaperçus si les seuils de confiance ne sont pas surveillés.
Feuille de route de mise en œuvre
Définissez des critères d’acceptation pour la précision, le rappel et les coûts d’erreur.
Testez avec des données qui correspondent aux conditions de production réelles.
Ajoutez un examen humain pour les prédictions peu fiables ou à fort impact.
Suivez la dérive du modèle et revalidez après les modifications de la caméra ou de l’ensemble de données.
Continuez à explorer
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Diffusion Transformers quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Guide suivant
Réseaux de transformateurs spatiaux
Questions fréquemment posées
What is Diffusion Transformers?
Les transformateurs de diffusion (DiT) remplacent le réseau U-Net convolutif au cœur des générateurs d'images et de vidéo par un réseau fédérateur de transformateur. Cette architecture alimente des systèmes de pointe tels que Stable Diffusion 3 et Sora de OpenAI, et elle évolue remarquablement bien à mesure que vous ajoutez du calcul.
Quel composant un transformateur de diffusion remplace-t-il par rapport aux modèles de diffusion traditionnels ?
Les DiT remplacent l'U-Net, le réseau convolutif qui effectuait le débruitage, par une dorsale Transformer.
Comment un DiT transforme-t-il une image en quelque chose qu'un Transformer peut traiter ?
L'image latente est divisée en petits patchs, et chaque patch devient un jeton, analogue aux mots dans un modèle de langage.
Qu'a trouvé l'article original du DiT sur la mise à l'échelle ?
La qualité DiT s'améliore de manière propre et prévisible à mesure que vous augmentez le calcul du modèle et utilisez des correctifs plus petits, en suivant les lois de mise à l'échelle.
Comment les DiT injectent-ils généralement des conditionnements tels que le pas de temps et l'invite de texte ?
Les DiT utilisent la normalisation adaptative des couches pour prédire les paramètres d'échelle et de décalage des couches de normalisation à partir du signal de conditionnement.
Qu'accomplit l'initialisation « adaLN-zero » ?
adaLN-zero initialise la modulation afin que chaque bloc agisse initialement comme une identité, ce qui stabilise et améliore l'entraînement.