LegközelebbKövetkező útmutató
Térbeli transzformátor hálózatok
Vizuális AI
Vizuális MI ÚTMUTATÓ
A diffúziós transzformátorok (DiTs) felcserélik a kép- és videógenerátorok középpontjában álló konvolúciós U-Netet egy Transformer gerincre.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Ez az architektúra támogatja az olyan vezető rendszereket, mint a Stable Diffusion 3 és a OpenAI Sora, és figyelemreméltóan jól skálázódik, ha hozzáadja a számításokat.
A diffúziós modellek úgy állítanak elő képeket, hogy tiszta zajból indulnak ki, és iteratív módon zajtalanítják azt koherens képpé. Évekig a zajcsökkentést végző hálózat U-Net volt, egy konvolúciós architektúra. A Peebles és Xie által 2022-ben bemutatott Diffusion Transformer az U-Netet egy Transformerre cseréli. A képet először egy látens térbe tömörítik, kis foltokra osztják, és minden folt egy token lesz, hasonlóan a nyelvi modell szavaihoz. A Transformer ezután minden zajtalanítási lépésnél önfigyeléssel dolgozza fel ezeket a tokeneket. A legfontosabb megállapítás az volt, hogy a DiT teljesítmény előre láthatóan javul a modell méretének növelésével és a patch méretének csökkentésével, követve a tiszta méretezési törvényeket. Ez a méretezhetőség az oka annak, hogy a szöveg-videó és a csúcskategóriás szöveg-kép rendszerek nagyrészt áttértek a Transformer gerinchálózatára.
A OpenAI Sora Transformer gerincét használja a téridő foltokon, hogy perchosszúságú, nagy hűségű videókat hozzon létre szöveges promptokból.
A Stable Diffusion 3 multimodális diffúziós transzformátort (MMDiT) alkalmaz, hogy jobban összehangolja a generált képeket a részletes szöveges leírásokkal.
A kutatók a DiT-t több milliárd paraméterre skálázzák, és megfigyelik, hogy a képminőség kiszámíthatóan javul, ami irányítja a számítási költségvetési döntéseket.
Egy stúdió DiT-alapú modellt használ a rövid klipek meghosszabbításához, és az extra videokockákat további patch tokenként kezeli a zajtalanítás érdekében.
A diffúziós transzformátorok a generatív adathordozók alapértelmezett gerincévé válnak. Token-alapú kialakításuk természetessé teszi őket a képek, videók és akár a multimodális generálás egy skálázható architektúra alatt történő egyesítésére. A kutatás a hosszabb videó, a nagyobb felbontás és a hatékonyabb figyelem felé törekszik, hogy megszelídítse számos token négyzetes költségét. Konvergenciára számíthatunk a nyelvi és látási modellek között, ahol a hasonló Transformer skálázási receptek és infrastruktúra mindkettőt szolgálja, felgyorsítva a világmodellek és az interaktív videók fejlődését.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A diffúziós transzformátorok (DiTs) felcserélik a kép- és videógenerátorok középpontjában álló konvolúciós U-Netet egy Transformer gerincre. Ez az architektúra olyan vezető rendszereket hajt végre, mint a Stable Diffusion 3 és a OpenAI Sora, és figyelemreméltóan jól skálázódik a számítások hozzáadásával.
A DiT-ek felváltják az U-Netet, a zajtalanítást végző konvolúciós hálózatot, Transformer gerinccel.
A látens kép kis foltokra oszlik, és mindegyik folt jelzővé válik, hasonlóan a nyelvi modell szavaihoz.
A DiT minősége tiszta, kiszámítható módon javul, ahogy növeli a modellszámítást és kisebb foltokat használ, követve a méretezési törvényeket.
A DiT-k adaptív rétegnormalizálást használnak a skálázási és eltolási paraméterek előrejelzésére a normalizálási rétegekhez a kondicionáló jelből.
Az adaLN-zero inicializálja a modulációt, így minden blokk kezdetben identitásként működik, ami stabilizálja és javítja a képzést.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Térbeli transzformátor hálózatok
Vizuális AI