Ukadiriaji wa Kina cha Usambazaji wa Marigold
Marigold anatumia tena muundo wa uenezaji wa taswira uliofunzwa awali (Usambazaji Imara) ili kutabiri ramani zenye kina.
Muhtasari
It shows you can turn a generator's rich visual knowledge into a precise perception tool with surprisingly little training data.
Dive ya kina
Marigold (ETH Zurich, CVPR 2024 Karatasi Bora Kutajwa kwa Heshima) huweka upya makadirio ya kina kama tatizo la kuzalishwa kwa masharti. Badala ya kufunza mtandao wa kina kutoka mwanzo, husanikisha Usambazaji Imara ili 'kutoa' ramani ya kina iliyochorwa kwenye picha ya uingizaji. Maarifa ni kwamba kielelezo kilichofunzwa kuunganisha picha za uhalisia tayari kimejifunza jiometri ya eneo, mwangaza na muundo ndani kabisa ya nafasi yake iliyofichika, mambo muhimu hasa kwa kina. Ajabu, Marigold alirekebishwa vyema kwenye hifadhidata za syntetisk pekee (kama Hypersim na KITTI Virtual) bado inajumlisha vyema kwa picha halisi zisizo na risasi. Hutoa kina cha jamaa kisichobadilika na chenye maelezo mazuri ya kipekee, ingawa upanuzi wa mara kwa mara huifanya iwe polepole kuliko miundo ya kusambaza mbele kama vile DepthAnything.
Ufahamu wa Kiufundi
Marigold hufanya kazi katika nafasi fiche ya Diffusion. Picha na ramani ya kina imesimbwa na VAE sawa; U-Net imesanifiwa vyema ili kutoa sauti ya kina iliyofichika kwenye picha safi iliyofichika. Kwa makisio huendesha kitanzi cha kawaida cha kuleta denoising, kisha hutenganisha kina kificho. Kwa sababu ni sampuli, kukimbia nyingi kunaweza kuunganishwa kwa uthabiti, kukokotoa biashara kwa usahihi. Baadaye 'LCM' na matoleo ya hatua moja ya kuyeyushwa yalipunguza kadhaa ya hatua hadi pasi moja.
Athari za kimkakati
Kasi na kiwango
Visual AI inaweza kufanya ukaguzi, ugunduzi na kazi za kuweka lebo kiotomatiki kwa kiwango.
Tengeneza chaguzi
Timu bunifu zinaweza kuiga dhana kwa haraka zaidi na masahihisho machache ya mikono.
Timu na mtiririko wa kazi
Uendeshaji unaweza kutumia ishara za picha na video ambazo hapo awali zilikuwa ngumu kuchakata.
Mustakabali wa Ukadiriaji wa Kina cha Mtawanyiko wa Marigold
Kichocheo cha Marigold, urekebishaji mzuri wa vipengee vya awali vya uenezaji kwa utabiri mnene, unajumuisha zaidi ya kina hadi kanuni za uso, mtengano wa picha halisi, na ukadiriaji wa nyenzo. Vibadala vya kasi zaidi na vya muundo wa uthabiti vinafunga mwango wa kasi kwa mitandao ya usambazaji-mbele, na kufanya mtizamo unaotegemea uenezaji uweze kutumika katika zana wasilianifu. Tarajia mwelekeo mpana zaidi ambapo uti wa mgongo mmoja uliozoeshwa mapema unatumika kwa kazi nyingi za jiometri na utambuzi, na hivyo kupunguza hitaji la seti kubwa za data zilizo na lebo maalum ya kazi.
Utekelezaji wa Ulimwengu Halisi
Kuchimbua kina cha kusawazisha kutoka kwa picha za usanifu na za bidhaa kwa ajili ya kuwasha tena na picha za 3D.
Inazalisha ramani zenye maelezo ya juu zinazotumika kama hali ya kutengeneza picha na video zinazoweza kudhibitiwa.
Filamu ya usaidizi na timu za VFX katika matte na parallax hufanya kazi ambapo usahihi wa makali ni muhimu.
Inatumika kama msingi wa utafiti unaoonyesha jinsi ya kurekebisha vitangulizi vya uzalishaji kwa kazi mnene za utabiri.
Hatari & Walinzi
Haki za picha na idhini zinaweza kuwa hatari za kisheria ikiwa asili haiko wazi.
Utendaji wa muundo unaweza kutofautiana katika mwangaza, idadi ya watu na mazingira.
Chanya za uwongo zinaweza kutotambuliwa isipokuwa viwango vya uaminifu vifuatiliwe.
Ramani ya Utekelezaji
Bainisha vigezo vya kukubalika vya usahihi, kumbukumbu na gharama za makosa.
Jaribu kwa kutumia data inayolingana na hali halisi ya uzalishaji.
Ongeza ukaguzi wa kibinadamu kwa utabiri wa chini au utabiri wa athari kubwa.
Fuatilia mtindo wa kuteleza na uthibitishe upya baada ya mabadiliko ya kamera au mkusanyiko wa data.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Marigold Diffusion Depth Estimation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Ukadiriaji wa Kina cha Monocular
Maswali yanayoulizwa mara kwa mara
What is Marigold Diffusion Depth Estimation?
Marigold anatumia tena muundo wa uenezaji wa taswira uliofunzwa awali (Usambazaji Imara) ili kutabiri ramani zenye kina. Inaonyesha kuwa unaweza kubadilisha maarifa tele ya kuona ya jenereta kuwa zana sahihi ya utambuzi yenye data ya mafunzo kidogo.
Marigold hujenga mfano gani uliofunzwa mapema?
Marigold husanikisha muundo wa Usambazaji Uliofichika uliofichika ili kutoa ramani za kina.
Marigold anawekaje kazi ya kukadiria kina?
Inachukua kina kama kitu cha 'kuzalishwa' kwa hali ya picha ya ingizo, kwa kutumia tena mashine ya uenezaji.
Ni nini kilishangaza kuhusu data ya mafunzo ya Marigold?
Marigold alirekebishwa vyema kwenye data ya sintetiki kama vile Hypersim na Virtual KITTI lakini huleta picha sifuri kwa jumla.
Kwa nini Marigold kawaida ni polepole kuliko mifano ya kina ya kulisha-mbele?
Miundo ya mtawanyiko hupiga kelele juu ya hatua nyingi, na kufanya makisio kuwa polepole kuliko pasi moja ya mbele.
Katika nafasi gani Marigold hufanya mchakato wake wa kueneza?
Picha na kina zote mbili zimesimbwa kwenye nafasi iliyofichika ya VAE ambapo U-Net inatoweka.