Diffusionstransformatorer
Diffusion Transformers (DiTs) byter ut det konvolutionära U-nätet i hjärtat av bild- och videogeneratorer mot en Transformer-ryggrad.
Översikt
This architecture powers leading systems like Stable Diffusion 3 and OpenAI's Sora, and it scales remarkably well as you add compute.
Djupdykning
Diffusionsmodeller genererar bilder genom att utgå från rent brus och iterativt förvandla det till en sammanhängande bild. I åratal var nätverket som gjorde den denoiseringen ett U-Net, en konvolutionell arkitektur. Diffusionstransformatorn, som introducerades av Peebles och Xie 2022, ersätter U-Net med en transformator. Bilden komprimeras först till ett latent utrymme, delas upp i små fläckar och varje fläck blir en symbol, ungefär som ord i en språkmodell. Transformatorn bearbetar sedan dessa tokens med självuppmärksamhet vid varje nedtoningssteg. En viktig upptäckt var att DiT-prestandan förbättras förutsägbart när du ökar modellstorleken och minskar patchstorleken, enligt lagar om ren skalning. Denna skalbarhet är anledningen till att text-till-video och avancerade text-till-bild-system till stor del har migrerat till Transformer-stamnät.
Teknisk insikt
En kärninnovation är hur DiTs injicerar konditionering som tidssteget och textprompten. Snarare än enkel sammankoppling använder de adaptiv lagernormalisering (adaLN), där nätverket förutsäger skalnings- och skiftparametrar för normaliseringslager från konditioneringssignalen. adaLN-noll-varianten initierar dessa så att varje block startar som en identitetsfunktion, stabiliserande träning. Plåster plattas till tokens, bearbetas av vanliga Transformer-block med självuppmärksamhet, sätts sedan ihop igen och avkodas tillbaka till pixlar.
Strategisk inverkan
Speed and scale
Visual AI kan automatisera inspektion, upptäckt och taggningsuppgifter i stor skala.
Build choices
Kreativa team kan prototypa koncept snabbare med färre manuella revisioner.
Team and workflow
Operationer kan använda bild- och videosignaler som tidigare var svåra att bearbeta.
Diffusionstransformatorernas framtid
Diffusionstransformatorer håller på att bli standardryggraden för generativa medier. Deras token-baserade design gör dem naturliga för att förena bilder, video och till och med multimodal generation under en skalbar arkitektur. Forskning driver mot längre video, högre upplösning och mer effektiv uppmärksamhet för att tämja den kvadratiska kostnaden för många tokens. Räkna med konvergens mellan språk- och visionsmodeller, där liknande transformatorskalningsrecept och infrastruktur tjänar båda, vilket påskyndar framstegen inom världsmodeller och interaktiv video.
Real-World Implementation
OpenAIs Sora använder en Transformer-ryggrad över rymdtidspatchar för att generera minutlånga, högfientliga videor från textuppmaningar.
Stable Diffusion 3 använder en multimodal Diffusion Transformer (MMDiT) för att bättre anpassa genererade bilder med detaljerade textbeskrivningar.
Forskare skalar en DiT till miljarder parametrar och observerar att bildkvaliteten förbättras på ett förutsägbart sätt, vilket vägleder beräkningsbudgetbeslut.
En studio använder en DiT-baserad modell för att förlänga korta klipp, och behandlar extra videorutor som ytterligare patch-tokens för att denoise.
Risker & skyddsräcken
Bildrättigheter och samtycke kan bli juridiska risker om härkomst är oklart.
Modellens prestanda kan variera mellan belysning, demografi och miljöer.
Falska positiva resultat kan gå obemärkt förbi om inte konfidensgränser övervakas.
Färdplan för genomförande
Definiera acceptanskriterier för precision, återkallelse och felkostnader.
Testa med data som matchar verkliga produktionsförhållanden.
Lägg till mänsklig granskning för lågt förtroende eller förutsägelser med stor inverkan.
Spåra modelldrift och återvalidera efter ändringar av kamera eller datauppsättning.
Fortsätt utforska
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Diffusion Transformers quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Rumsliga transformatornätverk
Frequently asked questions
What is Diffusion Transformers?
Diffusion Transformers (DiTs) byter ut det konvolutionära U-nätet i hjärtat av bild- och videogeneratorer mot en Transformer-ryggrad. Den här arkitekturen driver ledande system som Stable Diffusion 3 och OpenAIs Sora, och den skalas anmärkningsvärt bra när du lägger till beräkningar.
Vilken komponent ersätter en diffusionstransformator jämfört med traditionella diffusionsmodeller?
DiTs ersätter U-Net, det konvolutionella nätverket som utförde denoising, med en Transformer-ryggrad.
Hur gör en DiT en bild till något som en transformator kan bearbeta?
Den latenta bilden delas upp i små fläckar, och varje fläck blir en token, analogt med ord i en språkmodell.
Vad fann det ursprungliga DiT-papperet om skalning?
DiT-kvaliteten förbättras på ett rent, förutsägbart sätt när du ökar modellberäkningen och använder mindre patchar, enligt skalningslagar.
Hur injicerar DiTs vanligtvis konditionering som tidssteget och textprompten?
DiTs använder adaptiv lagernormalisering för att förutsäga skala och skifta parametrar för normaliseringslager från konditioneringssignalen.
Vad åstadkommer "adaLN-noll"-initieringen?
adaLN-zero initierar moduleringen så att varje block initialt fungerar som identitet, vilket stabiliserar och förbättrar träningen.