InayofuataMwongozo unaofuata
Mitandao ya Kibadilishaji anga
AI ya kuona
Mwongozo wa AI unaoonekana
Vibadilishaji vya Usambazaji
Vibadilishaji vya Usambazaji (DiTs) hubadilisha U-Net ya kubadilisha katikati ya jenereta za picha na video kwa uti wa mgongo wa Transfoma.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
Usanifu huu huimarisha mifumo inayoongoza kama vile Stable Diffusion 3 na OpenAI's Sora, na inakua vizuri sana unapoongeza hesabu.
Dive ya kina
Miundo ya mtawanyiko huzalisha picha kwa kuanzia kelele tupu na kuifanya tena kelele kuwa picha thabiti. Kwa miaka mingi mtandao unaofanya denoising hiyo ulikuwa U-Net, usanifu wa kimapinduzi. Diffusion Transformer, iliyoletwa na Peebles na Xie mnamo 2022, inachukua nafasi ya U-Net na Transfoma. Picha hiyo kwanza inabanwa katika nafasi iliyofichika, ikagawanywa katika viraka vidogo, na kila kiraka huwa ishara, kama maneno katika modeli ya lugha. Transformer kisha huchakata ishara hizi kwa kujishughulisha katika kila hatua ya denoising. Ugunduzi muhimu ulikuwa kwamba utendaji wa DiT unaboresha inavyotabirika unapoongeza ukubwa wa kielelezo na kupunguza ukubwa wa kiraka, kufuatia sheria safi za kuongeza alama. Uharibifu huu ndio maana mifumo ya maandishi-hadi-video na maandishi-hadi-picha ya hali ya juu kwa kiasi kikubwa imehamia kwenye migongo ya Transfoma.
Utekelezaji wa Ulimwengu Halisi
OpenAI Sora ya Sora hutumia uti wa mgongo wa Transfoma kwenye viraka vya muda wa angani ili kutoa video za urefu wa dakika, za uaminifu wa hali ya juu kutoka kwa vidokezo vya maandishi.
Usambazaji Imara wa 3 hupitisha Kibadilishaji cha Usambazaji wa aina nyingi (MMDiT) ili kupatanisha vyema picha zinazozalishwa na maelezo ya kina ya maandishi.
Watafiti huongeza DiT hadi mabilioni ya vigezo na kuona ubora wa picha ukiboreka kwa kutabirika, wakiongoza maamuzi ya bajeti ya kukokotoa.
Studio hutumia muundo wa msingi wa DiT kupanua klipu fupi, ikichukua fremu za ziada za video kama ishara za ziada za kutoa sauti.
Mustakabali wa Transfoma za Usambazaji
Transfoma za Usambazaji zinakuwa uti wa mgongo chaguo-msingi wa midia zalishaji. Muundo wao wa msingi wa tokeni huwafanya kuwa wa asili kwa kuunganisha picha, video, na hata kizazi cha aina nyingi chini ya usanifu mmoja unaoweza kupanuka. Utafiti unasukuma kuelekea video ndefu, azimio la juu zaidi, na umakini zaidi ili kudhibiti gharama ya mara nne ya tokeni nyingi. Tarajia muunganiko kati ya miundo ya lugha na maono, ambapo maelekezo sawa ya kuongeza ukubwa wa Transformer na miundomsingi hutumika, kuharakisha maendeleo katika miundo ya dunia na video shirikishi.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Kasi na kiwango. Visual AI inaweza kufanya ukaguzi, ugunduzi na kazi za kuweka lebo kiotomatiki kwa kiwango.
- Tengeneza chaguzi. Timu bunifu zinaweza kuiga dhana kwa haraka zaidi na masahihisho machache ya mikono.
- Timu na mtiririko wa kazi. Uendeshaji unaweza kutumia ishara za picha na video ambazo hapo awali zilikuwa ngumu kuchakata.
Jihadharini na
- Haki za picha na idhini zinaweza kuwa hatari za kisheria ikiwa asili haiko wazi.
- Utendaji wa muundo unaweza kutofautiana katika mwangaza, idadi ya watu na mazingira.
- Chanya za uwongo zinaweza kutotambuliwa isipokuwa viwango vya uaminifu vifuatiliwe.
Hatua zinazofuata
- Bainisha vigezo vya kukubalika vya usahihi, kumbukumbu na gharama za makosa.
- Jaribu kwa kutumia data inayolingana na hali halisi ya uzalishaji.
- Ongeza ukaguzi wa kibinadamu kwa utabiri wa chini au utabiri wa athari kubwa.
- Fuatilia mtindo wa kuteleza na uthibitishe upya baada ya mabadiliko ya kamera au mkusanyiko wa data.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the Diffusion Transformers quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
Diffusion Transfoma ni nini?
Vibadilishaji vya Usambazaji (DiTs) hubadilisha U-Net ya kubadilisha katikati ya jenereta za picha na video kwa uti wa mgongo wa Transfoma. Usanifu huu unasimamia mifumo inayoongoza kama vile Usambazaji Imara wa 3 na OpenAI's Sora, na inakua vizuri sana unapoongeza hesabu.
Kibadilishaji cha Diffusion kinachukua nafasi gani ikilinganishwa na mifano ya kitamaduni ya uenezaji?
DiTs huchukua nafasi ya U-Net, mtandao wa ubadilishaji ambao ulifanya denoising, kwa uti wa mgongo wa Transfoma.
DiT inabadilishaje picha kuwa kitu ambacho Transformer inaweza kusindika?
Picha ya siri imegawanywa katika vipande vidogo, na kila kiraka kinakuwa ishara, sawa na maneno katika mfano wa lugha.
Karatasi ya asili ya DiT ilipata nini kuhusu kuongeza kiwango?
Ubora wa DiT huimarika kwa njia safi, inayoweza kutabirika unapoongeza hesabu za muundo na kutumia viraka vidogo, kwa kufuata sheria za kuongeza alama.
Je, DiTs huingiza vipi hali kama hatua ya saa na haraka ya maandishi?
DiTs hutumia urekebishaji wa safu inayoweza kubadilika ili kutabiri ukubwa na kubadilisha vigezo kwa tabaka za urekebishaji kutoka kwa mawimbi ya hali.
Je, uanzishaji wa 'adaLN-zero' unatimiza nini?
adaLN-sifuri huanzisha urekebishaji ili kila kizuizi hapo awali kifanye kama kitambulisho, ambacho hutulia na kuboresha mafunzo.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii