VolgendeVolgende gids
Ruimtelijke Transformatornetwerken
Visuele AI
Visuele AI-GIDS
Diffusion Transformers (DiTs) ruilen het convolutionele U-Net in het hart van beeld- en videogeneratoren in voor een Transformer-backbone.
Luister naar deze gidsAI-verteld · ~2 min
Deze architectuur is de drijvende kracht achter toonaangevende systemen als Stable Diffusion 3 en OpenAI's Sora, en schaalt opmerkelijk goed als u rekenkracht toevoegt.
Diffusiemodellen genereren beelden door te beginnen met pure ruis en deze iteratief te ontdoen van ruis tot een samenhangend beeld. Jarenlang was het netwerk dat deze ruisonderdrukking deed een U-Net, een convolutionele architectuur. De Diffusion Transformer, geïntroduceerd door Peebles en Xie in 2022, vervangt het U-Net door een Transformer. Het beeld wordt eerst gecomprimeerd tot een latente ruimte, opgesplitst in kleine stukjes, en elke stukje wordt een token, net zoals woorden in een taalmodel. De Transformer verwerkt deze tokens vervolgens met zelfaandacht bij elke stap van het verwijderen van ruis. Een belangrijke bevinding was dat de DiT-prestaties voorspelbaar verbeteren naarmate u de modelgrootte vergroot en de patchgrootte verkleint, volgens de wetten voor schone schaling. Deze schaalbaarheid is de reden dat tekst-naar-video- en geavanceerde tekst-naar-beeldsystemen grotendeels zijn gemigreerd naar Transformer-backbones.
OpenAI's Sora gebruikt een Transformer-backbone over ruimtetijdpatches om minutenlange, hifi-video's te genereren op basis van tekstprompts.
Stable Diffusion 3 maakt gebruik van een multimodale Diffusion Transformer (MMDiT) om gegenereerde afbeeldingen beter af te stemmen op gedetailleerde tekstbeschrijvingen.
Onderzoekers schalen een DiT naar miljarden parameters en observeren dat de beeldkwaliteit voorspelbaar verbetert, waardoor beslissingen over computerbudgetten worden geleid.
Een studio gebruikt een op DiT gebaseerd model om korte clips uit te breiden, waarbij extra videoframes worden behandeld als extra patchtokens om ruis te onderdrukken.
Diffusietransformatoren worden de standaardruggengraat voor generatieve media. Hun op tokens gebaseerde ontwerp maakt ze geschikt voor het verenigen van afbeeldingen, video en zelfs multimodale generatie onder één schaalbare architectuur. Onderzoek streeft naar langere video, hogere resolutie en efficiëntere aandacht om de kwadratische kosten van veel tokens te temmen. Verwacht convergentie tussen taal- en visiemodellen, waarbij vergelijkbare Transformer-schaalrecepten en infrastructuur beide dienen, waardoor de vooruitgang in wereldmodellen en interactieve video wordt versneld.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Diffusion Transformers (DiTs) ruilen het convolutionele U-Net in het hart van beeld- en videogeneratoren in voor een Transformer-backbone. Deze architectuur is de drijvende kracht achter toonaangevende systemen als Stable Diffusion 3 en OpenAI's Sora, en schaalt opmerkelijk goed als je rekenkracht toevoegt.
DiTs vervangen het U-Net, het convolutionele netwerk dat ruis dempt, door een Transformer-backbone.
Het latente beeld wordt opgedeeld in kleine stukjes, en ieder stukje wordt een token, analoog aan woorden in een taalmodel.
De DiT-kwaliteit verbetert op een schone, voorspelbare manier naarmate u de modelcomputer vergroot en kleinere patches gebruikt, volgens de schaalwetten.
DiTs gebruiken adaptieve laagnormalisatie om schaal- en verschuivingsparameters voor normalisatielagen te voorspellen op basis van het conditioneringssignaal.
adaLN-zero initialiseert de modulatie, zodat elk blok aanvankelijk als identiteit fungeert, wat de training stabiliseert en verbetert.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Ruimtelijke Transformatornetwerken
Visuele AI