Visual AI Itọsọna
Awọn Ayirapada Itankale
Awọn Ayirapada Itankale (DiTs) paarọ U-Net convolutional ni ọkan ti aworan ati awọn olupilẹṣẹ fidio fun ẹhin Amunawa.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
This architecture powers leading systems like Stable Diffusion 3 and OpenAI's Sora, and it scales remarkably well as you add compute.
Jin Dive
Awọn awoṣe itọka n ṣe agbekalẹ awọn aworan nipa bibẹrẹ lati ariwo mimọ ati ni ilodi si ni ilodisi si aworan isomọ kan. Fun awọn ọdun nẹtiwọọki ti n ṣe irẹwẹsi yẹn jẹ U-Net kan, faaji ariyanjiyan kan. Transformer Diffusion, ti a ṣe nipasẹ Peebles ati Xie ni ọdun 2022, rọpo U-Net pẹlu Oluyipada kan. Aworan naa ni akọkọ fisinuirindigbindigbin sinu aaye wiwaba, pin si awọn abulẹ kekere, ati alemo kọọkan di ami ami kan, pupọ bi awọn ọrọ ni awoṣe ede kan. Amunawa lẹhinna ṣe ilana awọn ami wọnyi pẹlu akiyesi ara ẹni ni igbesẹ ikọlu kọọkan. Wiwa bọtini kan ni pe iṣẹ DiT ni ilọsiwaju ni asọtẹlẹ bi o ṣe npọ si iwọn awoṣe ati dinku iwọn alemo, ni atẹle awọn ofin igbelosoke mimọ. Iwọn iwọn yii ni idi ti ọrọ-si-fidio ati awọn ọna ṣiṣe-ipari-giga-si-aworan ti lọsi pupọ si awọn ẹhin Ayipada.
Real-World imuse
OpenAI's Sora nlo Ẹyin Iyipada Ayipada lori awọn abulẹ akoko aaye lati ṣe agbejade awọn fidio gigun-iṣẹju, ti o ga julọ lati awọn ifọrọranṣẹ.
Idurosinsin Diffusion 3 gba Amunawa Diffusion Multimodal (MMDiT) lati ṣe deede awọn aworan ti ipilẹṣẹ dara julọ pẹlu awọn apejuwe ọrọ alaye.
Awọn oniwadi ṣe iwọn DiT kan si awọn ọkẹ àìmọye awọn paramita ati ṣe akiyesi didara aworan ni ilọsiwaju ni asọtẹlẹ, didari awọn ipinnu isuna-iṣiro.
Ile-iṣere kan nlo awoṣe ti o da lori DiT lati fa awọn agekuru kukuru, ni itọju awọn fireemu fidio afikun bi awọn ami ami alemo lati kọ.
Ojo iwaju ti awọn Ayirapada Itankale
Awọn Ayirapada Itankale n di ẹhin aiyipada fun media ipilẹṣẹ. Apẹrẹ ti o da lori ami-ami jẹ ki wọn jẹ adayeba fun isokan awọn aworan, fidio, ati paapaa iran multimodal labẹ faaji iwọn kan. Iwadi n titari si fidio to gun, ipinnu ti o ga julọ, ati akiyesi daradara siwaju sii lati tamu idiyele kuadiratiki ti ọpọlọpọ awọn ami-ami. Reti isokan laarin ede ati awọn awoṣe iran, nibiti iru awọn ilana igbelowọn Amunawa ati awọn amayederun ṣe iranṣẹ mejeeji, ilọsiwaju ilọsiwaju ni awọn awoṣe agbaye ati fidio ibaraenisepo.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Iyara ati iwọn. Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn.
- Kọ awọn yiyan. Awọn ẹgbẹ ẹda le ṣe apẹrẹ awọn imọran yiyara pẹlu awọn atunyẹwo afọwọṣe diẹ.
- Ẹgbẹ ati ṣiṣan iṣẹ. Awọn iṣẹ ṣiṣe le lo aworan ati awọn ifihan agbara fidio ti o nira tẹlẹ lati ṣiṣẹ.
Ṣọra fun
- Awọn ẹtọ aworan ati igbanilaaye le di awọn eewu labẹ ofin ti o ba jẹ afihan.
- Iṣe awoṣe le yatọ kọja ina, awọn ẹda eniyan, ati awọn agbegbe.
- Awọn idaniloju eke le ma ṣe akiyesi ayafi ti a ba ṣe abojuto awọn ala igbẹkẹle.
Next awọn igbesẹ
- Ṣetumo awọn ibeere gbigba fun pipe, iranti, ati awọn idiyele aṣiṣe.
- Ṣe idanwo pẹlu data ti o baamu awọn ipo iṣelọpọ gidi.
- Ṣafikun atunyẹwo eniyan fun igbẹkẹle kekere tabi awọn asọtẹlẹ ipa-giga.
- Tọpinpin awoṣe ki o ṣe tunṣe lẹhin kamẹra tabi awọn ayipada datasetto.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the Diffusion Transformers quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
What is Diffusion Transformers?
Awọn Ayirapada Itankale (DiTs) paarọ U-Net convolutional ni ọkan ti aworan ati awọn olupilẹṣẹ fidio fun ẹhin Amunawa. Iṣẹ faaji yii n ṣe itọsọna awọn ọna ṣiṣe bii Stable Diffusion 3 ati OpenAI's Sora, ati pe o ṣe iwọn daradara daradara bi o ṣe ṣafikun iṣiro.
Ẹya paati wo ni Amunawa Itankale rọpo ni akawe si awọn awoṣe itọka ibile?
Awọn DiT rọpo U-Net, nẹtiwọọki convolutional ti o ṣe denoising, pẹlu ẹhin Amunawa.
Bawo ni DiT ṣe yi aworan pada si nkan ti Ayipada le ṣe ilana?
Aworan wiwaba ti pin si awọn abulẹ kekere, ati patch kọọkan di ami-ami kan, afiwe si awọn ọrọ ni awoṣe ede kan.
Kini iwe DiT atilẹba ti o rii nipa irẹjẹ?
Didara DiT ṣe ilọsiwaju ni mimọ, ọna asọtẹlẹ bi o ṣe npọ si iṣiro awoṣe ati lo awọn abulẹ kekere, ni atẹle awọn ofin iwọn.
Bawo ni awọn DiT ṣe deede abẹrẹ ijẹẹmu bii igba-akoko ati tọ ọrọ?
Awọn DiTs lo isọdọtun Layer aṣamubadọgba lati ṣe asọtẹlẹ iwọn ati awọn aye iyipada fun awọn fẹlẹfẹlẹ deede lati ifihan agbara mimu.
Kini ipilẹṣẹ 'adaLN-odo' ṣe aṣeyọri?
adaLN-odo ṣe ipilẹṣẹ awose naa ki bulọọki kọọkan n ṣiṣẹ ni ibẹrẹ bi idanimọ, eyiti o ṣe iduroṣinṣin ati ilọsiwaju ikẹkọ.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii