Résumé
DreamFusion dafay defar ay mbir 3D ci mbind, ci jëfandikoo xeetu diffusion nataal 2D buy ŋàññi, musul tàggat ci benn done 3D. Li gëna am solo ci sos bi mooy, Score Distillation Sampling, moo nekkoon rëset bi gëna am solo ci wàllu bind-ci-3D.
DreamFusion ak Score Distillation Sampling bokk nañu ci liggéey yiy wane ordinatër, di tekki wala defar ay mejaa yuñ mëna gis ngir jàngat, liggéey ak sos lu bees.
Plongeur bu xóot
DreamFusion, ci Google ci 2022, laaj na: ndax xeetu bind-ci-nataal 2D mën na jàngal ab seen 3D xool bu baax ci bepp wàll? Dafay gëna xéewale NeRF (Neural Radiance Field) suko defee ñu mëna gis ci kamera yu bari, suñu ko defee bruit ba noppi ñu wane ko ci modelu diffusion bu liw (Imagen), ñu am poñ ci nataal yu wóor ngir bind bi. Li gëna am solo mooy jëfandikoowul ay done tàggat yaram 3D. Li gëna doywaat mooy Sampling Distillation Score (SDS): ludul tasaare ci U-Net bu seer bi ci modelu diffusion bi, SDS dafay jëfandikoo bruit bi ñu séentu ci model bi ni siñaal gradient ci kaw pixel yiñ joxe. Baamtu lii ci ay junni-junni gis-gis dafay jël benn mbiri 3D bu lëkkaloo, matt ak geometri ak melokaan bu aju ci gis-gis, ci benn frase.
Gis-gis xarala
SDS dafay jàppee xeetu diffusion bi ni fonction poñ buñ tëye. Dafay joxe NeRF, yokk bruit, laaj diffusion U-Net ngir wax luy waaja am, ba noppi xayma gradient bi (bruit bi ñu wax luy génne bruit biñ yokk) ñu puus ko ci nataal biñ joxe, moo tax NeRF di poids. Soo sànni U-Net Jacobian daf koy gëna yombal. Njàngale mu kawe te amul benn classifier (ci diggu 100) lañu soxla ngir am resultaa yu ñaw, te loolu moo waral màndarga yu bari yi, yenn saa muy fësul 'DreamFusion look.'
Xam DreamFusion ak jël misaalu distilaasioŋ
DreamFusion dafay defar ay mbir 3D ci mbind, ci jëfandikoo xeetu diffusion nataal 2D buy ŋàññi, musul tàggat ci benn done 3D. Li gëna am solo ci sos bi mooy, Score Distillation Sampling, moo nekkoon rëset bi gëna am solo ci wàllu bind-ci-3D. DreamFusion ak Score Distillation Sampling bokk nañu ci liggéey yiy wane ordinatër, di tekki wala defar ay mejaa yuñ mëna gis ngir jàngat, liggéey ak sos lu bees. Ngir tabax xam-xam bu xóot, jàppal DreamFusion ak Score Distillation Sampling ni xeetu liggéey, du benn man-man: leeral njariñ yi nga bëgg, leeral xalaat yi, ak tàqale li sistem bi mëna def ci anam wu wóor ak li ba leegi soxla àtteb kàngam.
Ci jëf, ekip yu am doole yiy jëfandikoo DreamFusion ak Score Distillation Sampling dañuy méngale njubte gi ak dëggantaanu liggéey bi, lu ci melni kalite done yi, wuute leeral yi, ak méngoo etiketu. Dañuy bind kritër yu leer ngir am ndam, natt leen ci done yu dëggu ak def liggéey, ba noppi ñu baamtu ci anamu ñàkka mëna seetlu, du ci benn yoon benchmark wins. Mooy barab bi xam-xam theorie bi di soppiku nekk kàttan buy yàgg ci produit yi, ci politik yi ak ci liggéey yi.
Visual IA mën na otomatise saytu, gis ak etiketu liggéey ci eskaal. Ci jamano jooju, yelleefi nataal ak nangu mën na nekk risku yoon sudee fimu bawoo leerul. Xeetu jëf bi gëna dëgër mooy boole gaawaayu jàngat ak disipline nguur: doxal pilote, jàpp firnde, siiwal dogal yi, ak wéy di yeesal kaaraange gi ci anam wi ñuy doxalee, li jëfandikukat bi di xaar, ak sàrti sàrt yi di jëm kanam.
njeextalu pexe
Visual IA mën na otomatise saytu, gis ak etiketu liggéey ci eskaal.
Visual IA mën na otomatise saytu, gis ak etiketu liggéey ci eskaal. Ci jëfandikoo yu am kalite bu kawe, loolu dañu koy tekki ci sàrti liggéey yuñ mëna natt, ay peggu boroom, ak ay xew-xewu xoolaat yu bari suko defee ekip yi mëna yokk wóolu seen bopp ci barabu yokk lu jaxasoo.
Ekipu kreatif yi mën nañu defar konsept yu gëna gaaw te duñu def lu bari ci loxo.
Ekipu kreatif yi mën nañu defar konsept yu gëna gaaw te duñu def lu bari ci loxo. Ci jëfandikoo yu am kalite bu kawe, loolu dañu koy tekki ci sàrti liggéey yuñ mëna natt, ay peggu boroom, ak ay xew-xewu xoolaat yu bari suko defee ekip yi mëna yokk wóolu seen bopp ci barabu yokk lu jaxasoo.
Liggéeyukaay yi mën nañu jëfandikoo siñaal nataal wala wideo yu jafewoon lool ci liggéey.
Liggéeyukaay yi mën nañu jëfandikoo siñaal nataal wala wideo yu jafewoon lool ci liggéey. Ci jëfandikoo yu am kalite bu kawe, loolu dañu koy tekki ci sàrti liggéey yuñ mëna natt, ay peggu boroom, ak ay xew-xewu xoolaat yu bari suko defee ekip yi mëna yokk wóolu seen bopp ci barabu yokk lu jaxasoo.
Doxal ci àdduna dëgg
Defar ab xeetu 3D bu 'nataalu DSLR bu benn xojog bu sol mbaxna bu ndaw' ci bind kese
Defar jeu draft ak ay mbiri AR te du am yatteef 3D ak loxo
Defar ay mbaal yuñ mëna yóbbu ci bitim réew, artist yi di leen raxas ludul tabax ci noonu rek
Liggéeyu gëstu ngir jàngat pexe bind-ci-3D yu bees yi ci SDS
Modèlu jëfandikoo
DreamFusion ak distilaasioŋ score
Defar ab model 3D bu 'nataalu DSLR bu benn xojog bu sol mbaxna bu ndaw' ci bind kese.
Defar ab xeetu 3D bu 'nataalu DSLR bu benn xojog bu sol mbaxna bu ndaw' ci bind rek. Ekip yi dañuy faral di am njariñ yu gëna baax suñu joxee ay pursàntaasu kalite ci kanam, tëye yoonu eskalaasioŋ nit ngir jafe-jafe yi, ba noppi topp njariñu liggéey bi ak njëgu njuumte yi ci diir bu gàtt.
DreamFusion ak distilaasioŋ score
Sosal jeu draft ak ay mbiri AR te doo jëfandikoo loxo ngir yatt 3D.
Sosal jeu draft ak AR assets te du am 3D sculpting manuel Teams yi dañuy faral di am njariñ yu gëna baax suñu joxee threshold yu baax ci kanam, tëye yoonu escalation nit ngir jafe-jafe yi, ba noppi topp njariñu produit ak njëgu njuumte ci diir bi.
DreamFusion ak distilaasioŋ score
Defar ay mbaal yuñ mëna yóbbu ci bitim réew, artist yi di leen raxas ludul tabax ci noonu rek.
Defar ay meshes exportable yu artist yi setal ci barabu tabax ci noonu ekip yi dañuy faral di am njariñ yu gëna baax suñu joxee thresholds yu baax ci kanam, tëye yoonu escalation nit ngir jafe-jafe yi, ba noppi topp njariñu produit ak njëgu njuumte ci diir bi.
DreamFusion ak distilaasioŋ score
Baselines gëstu ngir jàngat text-to-3D pexe yu bees ci SDS.
Gëstub baselines ngir jàngat pexe yu bees yi ci bind-ci-3D ci wàllu SDS Teams dañuy faral di am njariñ yu gëna baax suñu joxee thresholds yu baax ci kanam, tëye yoonu escalation nit ngir jafe-jafe yi, ba noppi topp njariñu produit ak njëgu njuumte ci diir bi.
Risk yi ak balustrade yi
Yelleefi nataal ak nangu mën na nekk risku yoon sudee fi ñu bawoo leerul.
Performance model bi mën na wuute ci leeraay bi, demographie bi ak environmaa bi.
Njuumteg positive yi mën nañu dem te kenn duko seetlu fileek xool wuñu buntu wóolu sa bopp.
Roadmap ngir samp gi
Mandargal kritërium nangug njub, woowaat ak njëgu njuumte.
Mandargal kritërium nangug njub, woowaat ak njëgu njuumte. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppalu génne gi, tëj bërëb bi, ba noppi yokk jëfandikoo gi.
Saytu ak done yu méngoo ak anam yi ñuy liggéeyee dëgg.
Saytu ak done yu méngoo ak anam yi ñuy liggéeyee dëgg. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppalu génne gi, tëj bërëb bi, ba noppi yokk jëfandikoo gi.
Yokk jàngat nit ngir xam fu wóorul dara wala am njeexital yu rëy.
Yokk jàngat nit ngir xam fu wóorul dara wala am njeexital yu rëy. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppalu génne gi, tëj bërëb bi, ba noppi yokk jëfandikoo gi.
Toppal model drift bi nga baaxal ko ginaaw bi kamera bi wala done yi soppeekoo.
Toppal model drift bi nga baaxal ko ginaaw bi kamera bi wala done yi soppeekoo. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppalu génne gi, tëj bërëb bi, ba noppi yokk jëfandikoo gi.