Résumé
Marigold dafay jëfandikoowaat xeetu diffusion buñ tàggat bu njëkk (Diffusion Stable) ngir mëna wax luy waaja am ci kàrtu xóotaayu xóotaayu. Dafay wane ni mën nga soppi xam-xam bu bari bi generatër bi am ci wàllu gis-gis mu nekk jumtukaayu gis-gis bu leer te amul ay done yu néew ci tàggat.
Marigold Diffusion Depth Estimation bokk na ci liggéey yi ordinatër di def ngir tekki wala defar ay meja yu ñuy gis ngir jàngat, liggéey ak sos lu bees.
Plongeur bu xóot
Marigold (ETH Zurich, CVPR 2024 Këyit bi gëna baax ci njukkal) dafay soppi xayma xóotaayu ni jafe-jafe defar bu lalu ci sart. Du tàggat ab reso bu xóot ci noonu, dafay defar Diffusion bu dëgër ngir 'defar' ab kàrtu xóotaayu conditionné ci ab nataal buñ dugal. Li ñuy gis mooy model biñ tàggat ngir defar nataali fotorealistik jàngoon na geometrie seen, leeraay, ak structure bu xóot ci espace bu nëbbu bi, gëna gën priors yi am njariñ ci xóotaayu. Lu yéeme mooy, Marigold dañu ko defar bu baax ci ay done yuñ defaree ay done (lu melni Hypersim ak Virtual KITTI) waaye mingi yamale bu baax ci nataal yu dëggu yi. Dafay defar xóotaayu affine-invariant ak ay detay yu rafet lool, waaye denoising biy baamtu daf koy gëna yeex yeneen xeetu feed-forward yu melni DepthAnything.
Gis-gis xarala
Marigold mingi liggéey ci barab bu nëbbu bu diffusion stabil. Nataal bi ak kàrtu xóotaayu ñoom ñaar benn VAE moo leen kode; U-Net bi dañu ko defar bu baax ngir dindi bruit bu xóot bu nëbbu bi lalu ci nataal bu nëbbu bu sell bi. Ci inference dafay def bouclage denoising iteratif buñ miin, ba noppi dekode xóotaayu latente bi. Ndax dafay misaal, mën nañu boole ay daw yu bari ngir dakkal, jënd ak jaay xayma ngir gëna jub. Ginaaw loolu 'LCM' ak benn-jéego distiye versions dagg fukki-fukki jéego wàcci benn pass.
Xayma xóotaayu tasaaroo Marigold
Marigold dafay jëfandikoowaat xeetu diffusion buñ tàggat bu njëkk (Diffusion Stable) ngir mëna wax luy waaja am ci kàrtu xóotaayu xóotaayu. Dafay wane ni mën nga soppi xam-xam bu bari bi generatër bi am ci wàllu gis-gis mu nekk jumtukaayu gis-gis bu leer te amul ay done yu néew ci tàggat. Marigold Diffusion Depth Estimation bokk na ci liggéey yi ordinatër di def ngir tekki wala defar ay meja yu ñuy gis ngir jàngat, liggéey ak sos lu bees. Ngir tabax xam-xam bu xóot, jëfandikoo Marigold Diffusion Depth Estimation ni xeetu liggéey, du benn man-man: leeral njariñ yi nga bëgg, leeral xalaat yi, ak tàqale li sistem bi mëna def ci anam wu wóor ak li ba leegi soxla àtteb kàngam.
Ci jëf, ekip yu am doole yiy jëfandikoo Marigold Diffusion Depth Estimation dañuy méngale njubte gi ak dëggantaanu liggéey bi, lu ci melni kalite done yi, faraasu leeraay bi, ak méngoo etiketu. Dañuy bind kritër yu leer ngir am ndam, natt leen ci done yu dëggu ak def liggéey, ba noppi ñu baamtu ci anamu ñàkka mëna seetlu, du ci benn yoon benchmark wins. Mooy barab bi xam-xam theorie bi di soppiku nekk kàttan buy yàgg ci produit yi, ci politik yi ak ci liggéey yi.
Visual IA mën na otomatise saytu, gis ak etiketu liggéey ci eskaal. Ci jamano jooju, yelleefi nataal ak nangu mën na nekk risku yoon sudee fimu bawoo leerul. Xeetu jëf bi gëna dëgër mooy boole gaawaayu jàngat ak disipline nguur: doxal pilote, jàpp firnde, siiwal dogal yi, ak wéy di yeesal kaaraange gi ci anam wi ñuy doxalee, li jëfandikukat bi di xaar, ak sàrti sàrt yi di jëm kanam.
njeextalu pexe
Visual IA mën na otomatise saytu, gis ak etiketu liggéey ci eskaal.
Visual IA mën na otomatise saytu, gis ak etiketu liggéey ci eskaal. Ci jëfandikoo yu am kalite bu kawe, loolu dañu koy tekki ci sàrti liggéey yuñ mëna natt, ay peggu boroom, ak ay xew-xewu xoolaat yu bari suko defee ekip yi mëna yokk wóolu seen bopp ci barabu yokk lu jaxasoo.
Ekipu kreatif yi mën nañu defar konsept yu gëna gaaw te duñu def lu bari ci loxo.
Ekipu kreatif yi mën nañu defar konsept yu gëna gaaw te duñu def lu bari ci loxo. Ci jëfandikoo yu am kalite bu kawe, loolu dañu koy tekki ci sàrti liggéey yuñ mëna natt, ay peggu boroom, ak ay xew-xewu xoolaat yu bari suko defee ekip yi mëna yokk wóolu seen bopp ci barabu yokk lu jaxasoo.
Liggéeyukaay yi mën nañu jëfandikoo siñaal nataal wala wideo yu jafewoon lool ci liggéey.
Liggéeyukaay yi mën nañu jëfandikoo siñaal nataal wala wideo yu jafewoon lool ci liggéey. Ci jëfandikoo yu am kalite bu kawe, loolu dañu koy tekki ci sàrti liggéey yuñ mëna natt, ay peggu boroom, ak ay xew-xewu xoolaat yu bari suko defee ekip yi mëna yokk wóolu seen bopp ci barabu yokk lu jaxasoo.
Doxal ci àdduna dëgg
Di génne xóotaayu pepp yu sew ci nataali architecture ak produit ngir leeralaat ak maquette 3D.
Defar kàrtu xóotaayu detaay yu bari yuñ jëfandikoo ngir defar nataal ak wideo yuñ mëna saytu.
Jàppale ekipu filmu ak VFX ci liggéeyu matt ak parallax fu njubte gi am solo.
Dina nekk royuwaayu gëstu buy wane ni ñuy méngale ay prior generatif ak ay liggéey yu dëgër yuy wax luy am.
Modèlu jëfandikoo
Xayma xóotaayu tasaaroo Marigold ci jëf
Di génne xóotaayu pepp yu sew ci nataali architecture ak produit ngir leeralaat ak maquette 3D.
Di génne xóotaayu pepp yu rafet ci nataali architecture ak produit ngir leeralwaat ak mockups 3D Ekip yi dañuy faral di am njariñ yu gëna baax suñu joxee threshold yu baax ci kanam, tëye yoonu escalation nit ngir jafe-jafe yi, ba noppi topp njariñu produit ak njëgu njuumte ci diir bi.
Xayma xóotaayu tasaaroo Marigold ci jëf
Defar kàrtu xóotaayu detaay yu bari yuñ jëfandikoo ngir defar nataal ak wideo yuñ mëna saytu.
Defar kàrtu xóotaayu detaay yu bari yu ñuy jëfandikoo ngir defar ay nataal ak ay wideo yuñ mëna saytu. Ekip yi dañuy faral di am njariñ yu gëna baax suñu joxee ay threshold yu baax ci kanam, tëye yoonu escalation nit ngir jafe-jafe yi, ba noppi topp njariñu produit yi ak njëgu njuumte yi ci diir bi.
Xayma xóotaayu tasaaroo Marigold ci jëf
Jàppale ekipu filmu ak VFX ci liggéeyu matt ak parallax fu njubte gi am solo.
Jàppale ekipu filmu ak VFX ci liggéeyu matte ak parallax fu njubte bu am solo. Ekip yi dañuy faral di am njariñ yu gëna baax suñu joxee threshold yu baax ci kanam, tëye yoonu escalation nit ngir jafe-jafe yi, ba noppi topp njariñu produit ak njëgu njuumte ci diir bi.
Xayma xóotaayu tasaaroo Marigold ci jëf
Dina nekk royuwaayu gëstu buy wane ni ñuy méngale ay prior generatif ak ay liggéey yu dëgër yuy wax luy am.
Liggéey ci gëstub baseline buy wane ni ñuy méngale generative priors ak dense prediction liggéey Teams yi dañuy faral di am njariñ yu gëna baax suñu joxee threshold yu baax ci kanam, tëye yoonu escalation nit ngir jafe-jafe yi, ba noppi topp njariñu produit ak njëgu njuumte ci diir bi.
Risk yi ak balustrade yi
Yelleefi nataal ak nangu mën na nekk risku yoon sudee fi ñu bawoo leerul.
Performance model bi mën na wuute ci leeraay bi, demographie bi ak environmaa bi.
Njuumteg positive yi mën nañu dem te kenn duko seetlu fileek xool wuñu buntu wóolu sa bopp.
Roadmap ngir samp gi
Mandargal kritërium nangug njub, woowaat ak njëgu njuumte.
Mandargal kritërium nangug njub, woowaat ak njëgu njuumte. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppali génne gi, tëj bërëb bi, ba noppi nga yaatal jëfandikoo gi.
Saytu ak done yu méngoo ak anam yi ñuy liggéeyee dëgg.
Saytu ak done yu méngoo ak anam yi ñuy liggéeyee dëgg. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppali génne gi, tëj bërëb bi, ba noppi nga yaatal jëfandikoo gi.
Yokk jàngat nit ngir xam fu wóorul dara wala am njeexital yu rëy.
Yokk jàngat nit ngir xam fu wóorul dara wala am njeexital yu rëy. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppali génne gi, tëj bërëb bi, ba noppi nga yaatal jëfandikoo gi.
Toppal model drift bi nga baaxal ko ginaaw bi kamera bi wala done yi soppeekoo.
Toppal model drift bi nga baaxal ko ginaaw bi kamera bi wala done yi soppeekoo. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppali génne gi, tëj bërëb bi, ba noppi nga yaatal jëfandikoo gi.