Overview
Marigold anoshandisa zvakare yakadzidziswa mufananidzo-chizvarwa chekuparadzira modhi (Stable Diffusion) kufanotaura zvakadzama mepu dzakadzama. Zvinoratidza kuti iwe unogona kushandura ruzivo rwejenareta rwakapfuma kuita chigadziriso chekuziva chine zvinoshamisa data rekudzidzisa.
Marigold Diffusion Depth Estimation ndeyekombuta-kuona mafambiro anodudzira kana kugadzira midhiya yekuona yekuongorora, mashandiro, uye kugadzira.
Deep Dive
Marigold (ETH Zurich, CVPR 2024 Yakanakisa Pepa Inokudzwa Kutaurwa) inogadziridza fungidziro yakadzama sedambudziko rechizvarwa. Panzvimbo pekudzidzisa network yakadzama kubva kutanga, inonatsa-Yakagadzikana Diffusion kuti 'igadzire' mepu yakadzama yakarongedzwa pamufananidzo wekuisa. Muono uyu ndewekuti modhi yakadzidziswa kugadzira mifananidzo yemifananidzo yakatodzidza chiitiko geometry, kuvheneka, uye chimiro chakadzika munzvimbo yayo yakadzikama, chaizvo izvo zvinotangira zvinobatsira kudzika. Zvinoshamisa kuti, Marigold aive akarongedzerwa zvakanaka pamaseti ekugadzira chete (seHypersim neVirtual KITTI) asi achinyatso kuenderana kumifananidzo chaiyo zero-pfuti. Iyo inoburitsa affine-invariant hudzamu hudzamu hune hudzamu hwakanyanya, kunyangwe iyo iterative denoising inoita kuti inonoke pane yekudyisa-mberi mhando seDepthAnything.
Technical Insight
Marigold inoshanda muStable Diffusion's latent space. Zvose mufananidzo uye mepu yakadzika zvakavharwa neVAE imwechete; iyo U-Net yakanyatso gadziridzwa kuita denoise kudzika kwakadzikama kwakamisikidzwa pane yakachena mufananidzo wakadzikama. Pakufungidzira inomhanya yakajairwa iterative denoising loop, yobva yabvisa kudzika kwakadzikama. Nekuti iyo sampuli, akawanda anomhanya anogona kuunganidzwa kuti agadzikane, kutengesa compute yekurongeka. Gare gare 'LCM' uye imwe-nhanho-yakasvibiswa shanduro inocheka akawanda ematanho pasi kune imwe chete pass.
Mastering Marigold Diffusion Depth Estimation
Marigold anoshandisa zvakare yakadzidziswa mufananidzo-chizvarwa chekuparadzira modhi (Stable Diffusion) kufanotaura zvakadzama mepu dzakadzama. Zvinoratidza kuti iwe unogona kushandura ruzivo rwejenareta rwakapfuma kuita chigadziriso chekuziva chine zvinoshamisa data rekudzidzisa. Marigold Diffusion Depth Estimation ndeyekombuta-kuona mafambiro anodudzira kana kugadzira midhiya yekuona yekuongorora, mashandiro, uye kugadzira. Kuti uvake kunzwisisa kwakadzama, bata Marigold Diffusion Depth Estimation semuenzaniso wekushandisa, kwete chinhu chimwe chete: tsanangura zvinodiwa, kujekesa fungidziro, uye patsanura zvinogona kuitwa nehurongwa hwakavimbika kubva kune zvichiri kuda kutonga kwenyanzvi.
Mukuita, zvikwata zvakasimba zvinoshandisa Marigold Diffusion Depth Estimation chiyero chechokwadi nemashandiro anoita semhando yedata, kusiyana kwemwenje, uye kuenderana kwemazita. Ivo vanonyora zvakajeka maitiro ebudiriro, bvunzo vachipokana ne data rechokwadi uye mafambiro ebasa, uye iterate zvichibva pane zvakacherechedzwa maitiro ekutadza kwete kuhwina-nguva imwe chete yebhenji. Apa ndipo apo kunzwisisa kwe theoretical kunoshanduka kuve kugona kwakasimba pane chigadzirwa, mutemo, uye mashandiro.
Visual AI inogona kuita otomatiki yekuongorora, yekuona, uye yekumaka mabasa pachiyero. Panguva imwecheteyo, kodzero dzeMufananidzo uye kubvumirwa kunogona kuve njodzi dzepamutemo kana hunhu husina kujeka. Nzira yakatsiga ndeyekubatanidza kukurumidza kuyedza nekutonga: mhanyisa vatyairi vendege, tora humbowo, buritsa matanda esarudzo, uye urambe uchivandudza chengetedzo semaitiro emuenzaniso, zvinotarisirwa nemushandisi, uye zvinodikanwa zvekutonga.
Strategic Impact
Visual AI inogona kuita otomatiki yekuongorora, yekuona, uye yekumaka mabasa pachiyero.
Visual AI inogona kuita otomatiki yekuongorora, yekuona, uye yekumaka mabasa pachiyero. Mukutumirwa kwemhando yepamusoro, izvi zvinoshandurirwa kuita mitemo inoyerwa yekushanda, miganhu yevaridzi, uye tsika dzekudzokorora dzinodzokororwa kuitira kuti zvikwata zvikwire kuvimba pane kukwidza kusajeka.
Zvikwata zvekugadzira zvinogona prototype pfungwa nekukurumidza nekudzokororwa kwemaoko mashoma.
Zvikwata zvekugadzira zvinogona prototype pfungwa nekukurumidza nekudzokororwa kwemaoko mashoma. Mukutumirwa kwemhando yepamusoro, izvi zvinoshandurirwa kuita mitemo inoyerwa yekushanda, miganhu yevaridzi, uye tsika dzekudzokorora dzinodzokororwa kuitira kuti zvikwata zvikwire kuvimba pane kukwidza kusajeka.
Mashandisirwo anogona kushandisa masaini emifananidzo nemavhidhiyo ayo aimbove akaoma kugadzirisa.
Mashandisirwo anogona kushandisa masaini emifananidzo nemavhidhiyo ayo aimbove akaoma kugadzirisa. Mukutumirwa kwemhando yepamusoro, izvi zvinoshandurirwa kuita mitemo inoyerwa yekushanda, miganhu yevaridzi, uye tsika dzekudzokorora dzinodzokororwa kuitira kuti zvikwata zvikwire kuvimba pane kukwidza kusajeka.
Real-World Implementation
Kutora kudzika-kwakatsetseka kubva mukuvaka uye zvigadzirwa mafoto ekuvhenekesa uye 3D mockups.
Kugadzira yakakwira-detail mamepu anoshandiswa semamiriro ekugadzirisa mufananidzo uye vhidhiyo kugadzirwa.
Kubatsira firimu uye VFX zvikwata mune matte uye parallax basa uko kumucheto chaiko kunokosha.
Kushanda sehwaro hwekutsvagisa hunoratidza maitiro ekugadzirisa generative pres kune dense kufanotaura mabasa.
Maitiro Ekuita
Marigold Diffusion Depth Estimation mukuita
Kutora kudzika-kwakatsetseka kubva mukuvaka uye zvigadzirwa mafoto ekuvhenekesa uye 3D mockups.
Kubvisa kudzika-kwakatsetseka kubva mukuvaka uye zvigadzirwa mapikicha ekuvhenekesa uye 3D mockups Matimu anowanzo kuwana mhedzisiro iri nani kana achinge atsanangura emhando yepamusoro kumberi, chengetedza nzira yekukwira kwevanhu yemakesi ekumucheto, uye kuteedzera zvese zvakawanikwa zvechigadzirwa uye mutengo wekukanganisa nekufamba kwenguva.
Marigold Diffusion Depth Estimation mukuita
Kugadzira yakakwira-detail mamepu anoshandiswa semamiriro ekugadzirisa mufananidzo uye vhidhiyo kugadzirwa.
Kugadzira mepu dzakadzama dzakadzama dzinoshandiswa semamiriro ekugadzirisa mufananidzo uye vhidhiyo kugadzirwa Matimu anowanzo kuwana mhedzisiro iri nani kana achinge atsanangura emhando yepamusoro kumberi, chengetedza nzira yekukwira kwevanhu yemakesi ekumucheto, uye kuteedzera zvese zvakawanikwa zvechigadzirwa uye mutengo wekukanganisa nekufamba kwenguva.
Marigold Diffusion Depth Estimation mukuita
Kubatsira firimu uye VFX zvikwata mune matte uye parallax basa uko kumucheto chaiko kunokosha.
Kubatsira firimu uye VFX zvikwata mune matte uye parallax basa uko kumucheto chaiko kwenyaya Matimu anowanzo kuwana mibairo iri nani kana achinge atsanangura emhando yepamusoro kumberi, chengetedza nzira yekukwira kwevanhu yemakesi ekumucheto, uye kuteedzera zvese zvakawanikwa zvechigadzirwa nemitengo yekukanganisa nekufamba kwenguva.
Marigold Diffusion Depth Estimation mukuita
Kushanda sehwaro hwekutsvagisa hunoratidza maitiro ekugadzirisa generative pres kune dense kufanotaura mabasa.
Kushanda sehwaro hwekutsvagisa hunoratidza maitiro ekugadzirisa zvinogadzira kumabasa akaomesesa ekufanotaura Zvikwata zvinowanzowana mhedzisiro iri nani kana vachitsanangudza zvikumbaridzo zvemhando yepamusoro, chengetedza nzira yekukwira kwevanhu yemakesi ekumucheto, uye kuteedzera zvese zvakawanikwa zvechigadzirwa uye mutengo wekukanganisa nekufamba kwenguva.
Njodzi & Guardrails
Kodzero dzemifananidzo uye kubvumirwa kunogona kuve njodzi dzepamutemo kana provenance isina kujeka.
Kuita kwemuenzaniso kunogona kusiyanisa kupenya, huwandu hwevanhu, uye nharaunda.
Manyepo enhema anogona kusacherechedzwa kunze kwekunge zvikumbaridzo zvekuvimba zvikatariswa.
Implementation Roadmap
Tsanangura maitiro ekugamuchirwa echokwadi, kurangarira, uye mutengo wekukanganisa.
Tsanangura maitiro ekugamuchirwa echokwadi, kurangarira, uye mutengo wekukanganisa. Bata nhanho yega yega segedhi rehumbowo: kana maitiro asina kusangana, imbomira kuburitsa, vhara gaka, uye wobva wawedzera kushandiswa.
Edzai nedata rinoenderana nemamiriro chaiwo ekugadzira.
Edzai nedata rinoenderana nemamiriro chaiwo ekugadzira. Bata nhanho yega yega segedhi rehumbowo: kana maitiro asina kusangana, imbomira kuburitsa, vhara gaka, uye wobva wawedzera kushandiswa.
Wedzera ongororo yemunhu kune yakaderera-kusavimbika kana yakakwirira-inokanganisa kufanotaura.
Wedzera ongororo yemunhu kune yakaderera-kusavimbika kana yakakwirira-inokanganisa kufanotaura. Bata nhanho yega yega segedhi rehumbowo: kana maitiro asina kusangana, imbomira kuburitsa, vhara gaka, uye wobva wawedzera kushandiswa.
Tevera modhi kudonha uye simbisa mushure mekuchinja kwekamera kana dataset.
Tevera modhi kudonha uye simbisa mushure mekuchinja kwekamera kana dataset. Bata nhanho yega yega segedhi rehumbowo: kana maitiro asina kusangana, imbomira kuburitsa, vhara gaka, uye wobva wawedzera kushandiswa.