Awọn Ayirapada Itankale
Awọn Ayirapada Itankale (DiTs) paarọ U-Net convolutional ni ọkan ti aworan ati awọn olupilẹṣẹ fidio fun ẹhin Amunawa.
Akopọ
This architecture powers leading systems like Stable Diffusion 3 and OpenAI's Sora, and it scales remarkably well as you add compute.
Jin Dive
Awọn awoṣe itọka n ṣe agbekalẹ awọn aworan nipa bibẹrẹ lati ariwo mimọ ati ni ilodi si ni ilodisi si aworan isomọ kan. Fun awọn ọdun nẹtiwọọki ti n ṣe irẹwẹsi yẹn jẹ U-Net kan, faaji ariyanjiyan kan. Transformer Diffusion, ti a ṣe nipasẹ Peebles ati Xie ni ọdun 2022, rọpo U-Net pẹlu Oluyipada kan. Aworan naa ni akọkọ fisinuirindigbindigbin sinu aaye wiwaba, pin si awọn abulẹ kekere, ati alemo kọọkan di ami ami kan, pupọ bi awọn ọrọ ni awoṣe ede kan. Amunawa lẹhinna ṣe ilana awọn ami wọnyi pẹlu akiyesi ara ẹni ni igbesẹ ikọlu kọọkan. Wiwa bọtini kan ni pe iṣẹ DiT ni ilọsiwaju ni asọtẹlẹ bi o ṣe npọ si iwọn awoṣe ati dinku iwọn alemo, ni atẹle awọn ofin igbelosoke mimọ. Iwọn iwọn yii ni idi ti ọrọ-si-fidio ati awọn ọna ṣiṣe-ipari-giga-si-aworan ti lọsi pupọ si awọn ẹhin Ayipada.
Imọ-imọ-ẹrọ
Ilọtuntun pataki kan ni bii DiTs ṣe itọ ara kondisona bii igba akoko ati tọ ọrọ. Dipo isọdi ti o rọrun, wọn lo isọdọtun Layer adaptive (adaLN), nibiti nẹtiwọọki ti ṣe asọtẹlẹ iwọn ati awọn aye iyipada fun awọn fẹlẹfẹlẹ deede lati ami ifihan agbara. Iyatọ adaLN-odo ṣe ipilẹṣẹ iwọnyi nitorina bulọọki kọọkan bẹrẹ bi iṣẹ idanimọ, imuduro ikẹkọ. Awọn abulẹ ti wa ni pẹlẹbẹ sinu awọn ami ami, ti a ṣe ilana nipasẹ awọn bulọọki Amunawa boṣewa pẹlu akiyesi ara ẹni, lẹhinna tun ṣajọpọ ati yipada pada sinu awọn piksẹli.
Ipa Ilana
Iyara ati iwọn
Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn.
Kọ awọn yiyan
Awọn ẹgbẹ ẹda le ṣe apẹrẹ awọn imọran yiyara pẹlu awọn atunyẹwo afọwọṣe diẹ.
Ẹgbẹ ati ṣiṣan iṣẹ
Awọn iṣẹ ṣiṣe le lo aworan ati awọn ifihan agbara fidio ti o nira tẹlẹ lati ṣiṣẹ.
Ojo iwaju ti awọn Ayirapada Itankale
Awọn Ayirapada Itankale n di ẹhin aiyipada fun media ipilẹṣẹ. Apẹrẹ ti o da lori ami-ami jẹ ki wọn jẹ adayeba fun isokan awọn aworan, fidio, ati paapaa iran multimodal labẹ faaji iwọn kan. Iwadi n titari si fidio to gun, ipinnu ti o ga julọ, ati akiyesi daradara siwaju sii lati tamu idiyele kuadiratiki ti ọpọlọpọ awọn ami-ami. Reti isokan laarin ede ati awọn awoṣe iran, nibiti iru awọn ilana igbelowọn Amunawa ati awọn amayederun ṣe iranṣẹ mejeeji, ilọsiwaju ilọsiwaju ni awọn awoṣe agbaye ati fidio ibaraenisepo.
Real-World imuse
OpenAI's Sora nlo Ẹyin Iyipada Ayipada lori awọn abulẹ akoko aaye lati ṣe agbejade awọn fidio gigun-iṣẹju, ti o ga julọ lati awọn ifọrọranṣẹ.
Idurosinsin Diffusion 3 gba Amunawa Diffusion Multimodal (MMDiT) lati ṣe deede awọn aworan ti ipilẹṣẹ dara julọ pẹlu awọn apejuwe ọrọ alaye.
Awọn oniwadi ṣe iwọn DiT kan si awọn ọkẹ àìmọye awọn paramita ati ṣe akiyesi didara aworan ni ilọsiwaju ni asọtẹlẹ, didari awọn ipinnu isuna-iṣiro.
Ile-iṣere kan nlo awoṣe ti o da lori DiT lati fa awọn agekuru kukuru, ni itọju awọn fireemu fidio afikun bi awọn ami ami alemo lati kọ.
Awọn ewu & Awọn ọna iṣọ
Awọn ẹtọ aworan ati igbanilaaye le di awọn eewu labẹ ofin ti o ba jẹ afihan.
Iṣe awoṣe le yatọ kọja ina, awọn ẹda eniyan, ati awọn agbegbe.
Awọn idaniloju eke le ma ṣe akiyesi ayafi ti a ba ṣe abojuto awọn ala igbẹkẹle.
Ilana Ilana imuse
Ṣetumo awọn ibeere gbigba fun pipe, iranti, ati awọn idiyele aṣiṣe.
Ṣe idanwo pẹlu data ti o baamu awọn ipo iṣelọpọ gidi.
Ṣafikun atunyẹwo eniyan fun igbẹkẹle kekere tabi awọn asọtẹlẹ ipa-giga.
Tọpinpin awoṣe ki o ṣe tunṣe lẹhin kamẹra tabi awọn ayipada datasetto.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Diffusion Transformers quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Awọn nẹtiwọki Amunawa Aye
Awọn ibeere ti a beere nigbagbogbo
What is Diffusion Transformers?
Awọn Ayirapada Itankale (DiTs) paarọ U-Net convolutional ni ọkan ti aworan ati awọn olupilẹṣẹ fidio fun ẹhin Amunawa. Iṣẹ faaji yii n ṣe itọsọna awọn ọna ṣiṣe bii Stable Diffusion 3 ati OpenAI's Sora, ati pe o ṣe iwọn daradara daradara bi o ṣe ṣafikun iṣiro.
Ẹya paati wo ni Amunawa Itankale rọpo ni akawe si awọn awoṣe itọka ibile?
Awọn DiT rọpo U-Net, nẹtiwọọki convolutional ti o ṣe denoising, pẹlu ẹhin Amunawa.
Bawo ni DiT ṣe yi aworan pada si nkan ti Ayipada le ṣe ilana?
Aworan wiwaba ti pin si awọn abulẹ kekere, ati patch kọọkan di ami-ami kan, afiwe si awọn ọrọ ni awoṣe ede kan.
Kini iwe DiT atilẹba ti o rii nipa irẹjẹ?
Didara DiT ṣe ilọsiwaju ni mimọ, ọna asọtẹlẹ bi o ṣe npọ si iṣiro awoṣe ati lo awọn abulẹ kekere, ni atẹle awọn ofin iwọn.
Bawo ni awọn DiT ṣe deede abẹrẹ ijẹẹmu bii igba-akoko ati tọ ọrọ?
Awọn DiTs lo isọdọtun Layer aṣamubadọgba lati ṣe asọtẹlẹ iwọn ati awọn aye iyipada fun awọn fẹlẹfẹlẹ deede lati ifihan agbara mimu.
Kini ipilẹṣẹ 'adaLN-odo' ṣe aṣeyọri?
adaLN-odo ṣe ipilẹṣẹ awose naa ki bulọọki kọọkan n ṣiṣẹ ni ibẹrẹ bi idanimọ, eyiti o ṣe iduroṣinṣin ati ilọsiwaju ikẹkọ.