À suivreGuide suivant
Réseaux de transformateurs spatiaux
IA visuelle
GUIDE DE L'IA Visuelle
Transformateurs de diffusion
Les transformateurs de diffusion (DiT) remplacent le réseau U-Net convolutif au cœur des générateurs d'images et de vidéo par un réseau fédérateur de transformateur.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
Cette architecture alimente des systèmes de pointe tels que Stable Diffusion 3 et OpenAI de OpenAI, et elle évolue remarquablement bien à mesure que vous ajoutez du calcul.
Plongée profonde
Les modèles de diffusion génèrent des images en partant du bruit pur et en le débruitant de manière itérative en une image cohérente. Pendant des années, le réseau effectuant ce débruitage était un U-Net, une architecture convolutive. Le transformateur de diffusion, introduit par Peebles et Xie en 2022, remplace le U-Net par un transformateur. L’image est d’abord compressée dans un espace latent, divisée en petits patchs, et chaque patch devient un jeton, un peu comme les mots d’un modèle de langage. Le transformateur traite ensuite ces jetons avec attention à chaque étape de débruitage. L'une des principales conclusions est que les performances du DiT s'améliorent de manière prévisible à mesure que vous augmentez la taille du modèle et réduisez la taille des correctifs, en suivant des lois de mise à l'échelle claires. Cette évolutivité est la raison pour laquelle les systèmes texte-vidéo et texte-image haut de gamme ont largement migré vers les backbones Transformer.
Mise en œuvre dans le monde réel
Sora de OpenAI utilise un squelette Transformer sur des correctifs spatio-temporels pour générer des vidéos haute fidélité d'une minute à partir d'invites de texte.
Stable Diffusion 3 adopte un transformateur de diffusion multimodal (MMDiT) pour mieux aligner les images générées avec les descriptions textuelles détaillées.
Les chercheurs adaptent un DiT à des milliards de paramètres et observent une amélioration prévisible de la qualité de l’image, guidant ainsi les décisions en matière de budget de calcul.
Un studio utilise un modèle basé sur DiT pour étendre de courts clips, en traitant les images vidéo supplémentaires comme des jetons de patch supplémentaires à débruiter.
L'avenir des transformateurs de diffusion
Les transformateurs de diffusion deviennent l'épine dorsale par défaut des médias génératifs. Leur conception basée sur des jetons les rend naturels pour unifier les images, les vidéos et même la génération multimodale sous une seule architecture évolutive. La recherche s'oriente vers des vidéos plus longues, une résolution plus élevée et une attention plus efficace pour maîtriser le coût quadratique de nombreux jetons. Attendez-vous à une convergence entre les modèles de langage et de vision, où des recettes et une infrastructure de mise à l'échelle similaires de Transformer servent à la fois, accélérant les progrès dans les modèles mondiaux et la vidéo interactive.
Le mettre en pratique
Pourquoi c'est important
- Vitesse et échelle. L’IA visuelle peut automatiser les tâches d’inspection, de détection et de marquage à grande échelle.
- Choix de construction. Les équipes créatives peuvent prototyper des concepts plus rapidement avec moins de révisions manuelles.
- Équipe et flux de travail. Les opérations peuvent utiliser des signaux d’image et vidéo qui étaient auparavant difficiles à traiter.
Attention à
- Les droits à l’image et le consentement peuvent devenir des risques juridiques si la provenance n’est pas claire.
- Les performances du modèle peuvent varier en fonction de l'éclairage, des données démographiques et des environnements.
- Les faux positifs peuvent passer inaperçus si les seuils de confiance ne sont pas surveillés.
Prochaines étapes
- Définissez des critères d’acceptation pour la précision, le rappel et les coûts d’erreur.
- Testez avec des données qui correspondent aux conditions de production réelles.
- Ajoutez un examen humain pour les prédictions peu fiables ou à fort impact.
- Suivez la dérive du modèle et revalidez après les modifications de la caméra ou de l’ensemble de données.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the Diffusion Transformers quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
Qu'est-ce que les transformateurs de diffusion ?
Les transformateurs de diffusion (DiT) remplacent le réseau U-Net convolutif au cœur des générateurs d'images et de vidéo par un réseau fédérateur de transformateur. Cette architecture alimente des systèmes de pointe tels que Stable Diffusion 3 et Sora de OpenAI, et elle évolue remarquablement bien à mesure que vous ajoutez du calcul.
Quel composant un transformateur de diffusion remplace-t-il par rapport aux modèles de diffusion traditionnels ?
Les DiT remplacent l'U-Net, le réseau convolutif qui effectuait le débruitage, par une dorsale Transformer.
Comment un DiT transforme-t-il une image en quelque chose qu'un Transformer peut traiter ?
L'image latente est divisée en petits patchs, et chaque patch devient un jeton, analogue aux mots dans un modèle de langage.
Qu'a trouvé l'article original du DiT sur la mise à l'échelle ?
La qualité DiT s'améliore de manière propre et prévisible à mesure que vous augmentez le calcul du modèle et utilisez des correctifs plus petits, en suivant les lois de mise à l'échelle.
Comment les DiT injectent-ils généralement des conditionnements tels que le pas de temps et l'invite de texte ?
Les DiT utilisent la normalisation adaptative des couches pour prédire les paramètres d'échelle et de décalage des couches de normalisation à partir du signal de conditionnement.
Qu'accomplit l'initialisation « adaLN-zero » ?
adaLN-zero initialise la modulation afin que chaque bloc agisse initialement comme une identité, ce qui stabilise et améliore l'entraînement.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet