Vizuális MI ÚTMUTATÓ

Diffúziós transzformátorok

A diffúziós transzformátorok (DiTs) felcserélik a kép- és videógenerátorok középpontjában álló konvolúciós U-Netet egy Transformer gerincre.

Hallgassa meg ezt az útmutatótAI-narrált · ~2 min

Ezen az oldalon2 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A diffúziós transzformátorok jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Ez az architektúra támogatja az olyan vezető rendszereket, mint a Stable Diffusion 3 és a OpenAI Sora, és figyelemreméltóan jól skálázódik, ha hozzáadja a számításokat.

Mély merülés

A diffúziós modellek úgy állítanak elő képeket, hogy tiszta zajból indulnak ki, és iteratív módon zajtalanítják azt koherens képpé. Évekig a zajcsökkentést végző hálózat U-Net volt, egy konvolúciós architektúra. A Peebles és Xie által 2022-ben bemutatott Diffusion Transformer az U-Netet egy Transformerre cseréli. A képet először egy látens térbe tömörítik, kis foltokra osztják, és minden folt egy token lesz, hasonlóan a nyelvi modell szavaihoz. A Transformer ezután minden zajtalanítási lépésnél önfigyeléssel dolgozza fel ezeket a tokeneket. A legfontosabb megállapítás az volt, hogy a DiT teljesítmény előre láthatóan javul a modell méretének növelésével és a patch méretének csökkentésével, követve a tiszta méretezési törvényeket. Ez a méretezhetőség az oka annak, hogy a szöveg-videó és a csúcskategóriás szöveg-kép rendszerek nagyrészt áttértek a Transformer gerinchálózatára.

Valós megvalósítás

A OpenAI Sora Transformer gerincét használja a téridő foltokon, hogy perchosszúságú, nagy hűségű videókat hozzon létre szöveges promptokból.

A Stable Diffusion 3 multimodális diffúziós transzformátort (MMDiT) alkalmaz, hogy jobban összehangolja a generált képeket a részletes szöveges leírásokkal.

A kutatók a DiT-t több milliárd paraméterre skálázzák, és megfigyelik, hogy a képminőség kiszámíthatóan javul, ami irányítja a számítási költségvetési döntéseket.

Egy stúdió DiT-alapú modellt használ a rövid klipek meghosszabbításához, és az extra videokockákat további patch tokenként kezeli a zajtalanítás érdekében.

A diffúziós transzformátorok jövője

A diffúziós transzformátorok a generatív adathordozók alapértelmezett gerincévé válnak. Token-alapú kialakításuk természetessé teszi őket a képek, videók és akár a multimodális generálás egy skálázható architektúra alatt történő egyesítésére. A kutatás a hosszabb videó, a nagyobb felbontás és a hatékonyabb figyelem felé törekszik, hogy megszelídítse számos token négyzetes költségét. Konvergenciára számíthatunk a nyelvi és látási modellek között, ahol a hasonló Transformer skálázási receptek és infrastruktúra mindkettőt szolgálja, felgyorsítva a világmodellek és az interaktív videók fejlődését.

A gyakorlatba ültetés

Miért számít

  • Sebesség és méretarány. A vizuális AI képes automatizálni az ellenőrzési, észlelési és címkézési feladatokat nagy léptékben.
  • Építési lehetőségek. A kreatív csapatok gyorsabban prototípusokat készíthetnek a koncepciókból, kevesebb kézi átdolgozással.
  • Csapat és munkafolyamat. A műveletek olyan kép- és videojeleket használhatnak, amelyeket korábban nehéz volt feldolgozni.

Vigyázz

  • A képhez fűződő jogok és a beleegyezés jogi kockázatot jelenthet, ha a származás nem egyértelmű.
  • A modell teljesítménye a világítástól, a demográfiai adatoktól és a környezettől függően változhat.
  • A hamis pozitívumok észrevétlenek maradhatnak, hacsak nem figyelik a megbízhatósági küszöböket.

Következő lépések

  1. Határozza meg a pontosság, a visszahívás és a hibaköltségek elfogadási kritériumait.
  2. Tesztelje a valós gyártási feltételeknek megfelelő adatokkal.
  3. Adjon hozzá emberi felülvizsgálatot az alacsony megbízhatóságú vagy nagy hatású előrejelzésekhez.
  4. A modell elsodródásának nyomon követése és újbóli érvényesítése a kamera vagy az adatkészlet módosítása után.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Diffusion Transformers quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a diffúziós transzformátor?

A diffúziós transzformátorok (DiTs) felcserélik a kép- és videógenerátorok középpontjában álló konvolúciós U-Netet egy Transformer gerincre. Ez az architektúra olyan vezető rendszereket hajt végre, mint a Stable Diffusion 3 és a OpenAI Sora, és figyelemreméltóan jól skálázódik a számítások hozzáadásával.

Milyen alkatrészt helyettesít a diffúziós transzformátor a hagyományos diffúziós modellekhez képest?

A DiT-ek felváltják az U-Netet, a zajtalanítást végző konvolúciós hálózatot, Transformer gerinccel.

Hogyan változtat egy DiT egy képet olyasmivé, amit a Transformer képes feldolgozni?

A látens kép kis foltokra oszlik, és mindegyik folt jelzővé válik, hasonlóan a nyelvi modell szavaihoz.

Mit talált az eredeti DiT-papír a méretezésről?

A DiT minősége tiszta, kiszámítható módon javul, ahogy növeli a modellszámítást és kisebb foltokat használ, követve a méretezési törvényeket.

Hogyan alkalmazzák a DiT-ek a feltételeket, például az időlépést és a szöveges promptot?

A DiT-k adaptív rétegnormalizálást használnak a skálázási és eltolási paraméterek előrejelzésére a normalizálási rétegekhez a kondicionáló jelből.

Mit ér el az „adaLN-zero” inicializálás?

Az adaLN-zero inicializálja a modulációt, így minden blokk kezdetben identitásként működik, ami stabilizálja és javítja a képzést.