Visuele AI-GIDS

Diffusietransformatoren

Diffusion Transformers (DiTs) ruilen het convolutionele U-Net in het hart van beeld- en videogeneratoren in voor een Transformer-backbone.

Luister naar deze gidsAI-verteld · ~2 min

Op deze pagina2 min lezen
  1. Overzicht
  2. Diepe duik
  3. Implementatie in de echte wereld
  4. De toekomst van diffusietransformatoren
  5. Het in de praktijk brengen
  6. Blijf verkennen
  7. Veelgestelde vragen

Overzicht

Deze architectuur is de drijvende kracht achter toonaangevende systemen als Stable Diffusion 3 en OpenAI's Sora, en schaalt opmerkelijk goed als u rekenkracht toevoegt.

Diepe duik

Diffusiemodellen genereren beelden door te beginnen met pure ruis en deze iteratief te ontdoen van ruis tot een samenhangend beeld. Jarenlang was het netwerk dat deze ruisonderdrukking deed een U-Net, een convolutionele architectuur. De Diffusion Transformer, geïntroduceerd door Peebles en Xie in 2022, vervangt het U-Net door een Transformer. Het beeld wordt eerst gecomprimeerd tot een latente ruimte, opgesplitst in kleine stukjes, en elke stukje wordt een token, net zoals woorden in een taalmodel. De Transformer verwerkt deze tokens vervolgens met zelfaandacht bij elke stap van het verwijderen van ruis. Een belangrijke bevinding was dat de DiT-prestaties voorspelbaar verbeteren naarmate u de modelgrootte vergroot en de patchgrootte verkleint, volgens de wetten voor schone schaling. Deze schaalbaarheid is de reden dat tekst-naar-video- en geavanceerde tekst-naar-beeldsystemen grotendeels zijn gemigreerd naar Transformer-backbones.

Implementatie in de echte wereld

OpenAI's Sora gebruikt een Transformer-backbone over ruimtetijdpatches om minutenlange, hifi-video's te genereren op basis van tekstprompts.

Stable Diffusion 3 maakt gebruik van een multimodale Diffusion Transformer (MMDiT) om gegenereerde afbeeldingen beter af te stemmen op gedetailleerde tekstbeschrijvingen.

Onderzoekers schalen een DiT naar miljarden parameters en observeren dat de beeldkwaliteit voorspelbaar verbetert, waardoor beslissingen over computerbudgetten worden geleid.

Een studio gebruikt een op DiT gebaseerd model om korte clips uit te breiden, waarbij extra videoframes worden behandeld als extra patchtokens om ruis te onderdrukken.

De toekomst van diffusietransformatoren

Diffusietransformatoren worden de standaardruggengraat voor generatieve media. Hun op tokens gebaseerde ontwerp maakt ze geschikt voor het verenigen van afbeeldingen, video en zelfs multimodale generatie onder één schaalbare architectuur. Onderzoek streeft naar langere video, hogere resolutie en efficiëntere aandacht om de kwadratische kosten van veel tokens te temmen. Verwacht convergentie tussen taal- en visiemodellen, waarbij vergelijkbare Transformer-schaalrecepten en infrastructuur beide dienen, waardoor de vooruitgang in wereldmodellen en interactieve video wordt versneld.

Het in de praktijk brengen

Waarom het ertoe doet

  • Snelheid en schaal. Visuele AI kan inspectie-, detectie- en taggingtaken op schaal automatiseren.
  • Bouwkeuzes. Creatieve teams kunnen concepten sneller prototypen met minder handmatige revisies.
  • Team en workflow. Bij bewerkingen kan gebruik worden gemaakt van beeld- en videosignalen die voorheen moeilijk te verwerken waren.

Pas op voor

  • Beeldrechten en toestemming kunnen juridische risico's worden als de herkomst onduidelijk is.
  • De prestaties van modellen kunnen variëren afhankelijk van de belichting, demografische gegevens en omgevingen.
  • Valse positieve resultaten kunnen onopgemerkt blijven, tenzij de vertrouwensdrempels worden gecontroleerd.

Volgende stappen

  1. Definieer acceptatiecriteria voor precisie-, terugroep- en foutkosten.
  2. Test met gegevens die overeenkomen met echte productieomstandigheden.
  3. Voeg menselijke beoordeling toe voor voorspellingen met weinig vertrouwen of hoge impact.
  4. Volg modelafwijkingen en valideer opnieuw na wijzigingen in de camera of dataset.

Blijf verkennen

Gratis nieuwsbrief

Ontvang de dagelijkse AI-briefing

Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.

Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.

Test jezelf

Take the Diffusion Transformers quiz

Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.

Quiz starten

Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie

Veelgestelde vragen

Wat zijn diffusietransformatoren?

Diffusion Transformers (DiTs) ruilen het convolutionele U-Net in het hart van beeld- en videogeneratoren in voor een Transformer-backbone. Deze architectuur is de drijvende kracht achter toonaangevende systemen als Stable Diffusion 3 en OpenAI's Sora, en schaalt opmerkelijk goed als je rekenkracht toevoegt.

Welk onderdeel vervangt een diffusietransformator in vergelijking met traditionele diffusiemodellen?

DiTs vervangen het U-Net, het convolutionele netwerk dat ruis dempt, door een Transformer-backbone.

Hoe verandert een DiT een beeld in iets dat een Transformer kan verwerken?

Het latente beeld wordt opgedeeld in kleine stukjes, en ieder stukje wordt een token, analoog aan woorden in een taalmodel.

Wat vond het originele DiT-artikel over schaalvergroting?

De DiT-kwaliteit verbetert op een schone, voorspelbare manier naarmate u de modelcomputer vergroot en kleinere patches gebruikt, volgens de schaalwetten.

Hoe injecteren DiTs doorgaans conditionering zoals de tijdstap en tekstprompt?

DiTs gebruiken adaptieve laagnormalisatie om schaal- en verschuivingsparameters voor normalisatielagen te voorspellen op basis van het conditioneringssignaal.

Wat wordt met de 'adaLN-zero'-initialisatie bereikt?

adaLN-zero initialiseert de modulatie, zodat elk blok aanvankelijk als identiteit fungeert, wat de training stabiliseert en verbetert.