DalšíDalší průvodce
Sítě prostorových transformátorů
Vizuální AI
Vizuální průvodce AI
Diffusion Transformers (DiTs) vymění konvoluční U-Net v srdci generátorů obrazu a videa za páteř Transformer.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Tato architektura pohání přední systémy, jako je Stable Diffusion 3 a Sora OpenAI, a je pozoruhodně dobře škálovatelná, když přidáte výpočetní techniku.
Difúzní modely generují obrazy tak, že začínají od čistého šumu a iterativně jej odšumují do koherentního obrazu. Po léta byla síť, která prováděla toto odšumování, U-Net, konvoluční architektura. Diffusion Transformer, který představili Peebles a Xie v roce 2022, nahrazuje U-Net transformátorem. Obraz je nejprve komprimován do latentního prostoru, rozdělen do malých políček a každá záplata se stává tokenem, podobně jako slova v jazykovém modelu. Transformátor pak tyto tokeny zpracovává s vlastní pozorností při každém kroku odšumování. Klíčovým zjištěním bylo, že výkon DiT se předvídatelně zlepšuje, když zvětšujete velikost modelu a zmenšujete velikost opravy, a to podle zákonů čistého škálování. Tato škálovatelnost je důvodem, proč systémy pro převod textu na video a špičkové systémy pro převod textu na obrázek z velké části migrovaly na páteřní sítě Transformer.
OpenAI Sora využívá páteřní síť Transformer přes časoprostorové záplaty ke generování minutových, vysoce věrných videí z textových výzev.
Stable Diffusion 3 využívá multimodální difúzní transformátor (MMDiT) pro lepší zarovnání generovaných obrázků s podrobnými textovými popisy.
Výzkumníci škálují DiT na miliardy parametrů a pozorují, jak se kvalita obrazu předvídatelně zlepšuje, což vede k rozhodování o výpočetním rozpočtu.
Studio používá model založený na DiT k prodloužení krátkých klipů, přičemž další snímky videa jsou považovány za další tokeny záplat pro odstranění šumu.
Difúzní transformátory se stávají výchozí páteří pro generativní média. Jejich design založený na tokenech je činí přirozenými pro sjednocení obrázků, videa a dokonce i multimodální generování v rámci jedné škálovatelné architektury. Výzkum tlačí k delšímu videu, vyššímu rozlišení a efektivnější pozornosti ke zkrocení kvadratických nákladů mnoha tokenů. Očekávejte konvergenci mezi jazykovými a vizuálními modely, kde podobné škálovací receptury a infrastruktura Transformer slouží oběma, což urychluje pokrok ve světových modelech a interaktivním videu.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Diffusion Transformers (DiTs) vymění konvoluční U-Net v srdci generátorů obrazu a videa za páteř Transformer. Tato architektura pohání přední systémy, jako je Stable Diffusion 3 a Sora OpenAI, a je pozoruhodně dobře škálovatelná, když přidáte výpočet.
DiTs nahrazují U-Net, konvoluční síť, která prováděla odšumování, páteří Transformer.
Latentní obraz je rozdělen do malých políček a každá záplata se stává tokenem, analogickým slovům v jazykovém modelu.
Kvalita DiT se zlepšuje čistým a předvídatelným způsobem, když zvyšujete výpočet modelu a používáte menší záplaty v souladu se zákony o škálování.
DiT používají adaptivní normalizaci vrstvy k predikci parametrů měřítka a posunu pro normalizační vrstvy z kondicionačního signálu.
adaLN-zero inicializuje modulaci, takže každý blok zpočátku funguje jako identita, která stabilizuje a zlepšuje trénink.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Sítě prostorových transformátorů
Vizuální AI