Résumé
Zero-1-to-3 dafay soppi benn nataalu benn mbir mu nekk nataalu benn mbir buñu xoolee ci angle bu bees, jëfandikoo modelu diffusion bu lalu ci wëréelu kamera bi nga laaj. Dafa am solo ndax daf lay may nga defaraat gis-gis yu méngoo ci 3D te doo musa skane mbir mi ci wàll yu bari.
Zero-1-to-3 Novel View Diffusion bokk na ci liggéey yi ñuy gis ci ordinatër, yuy tekki wala defar ay mejaa yuñ mëna gis ngir jàngat, liggéey ak sos lu bees.
Plongeur bu xóot
Zero-1-ba-3 (ci Columbia, 2023) dafay gëna rafetal diffusion bu dëgër suko defee mu mëna def synthese bu bees bu amul benn nataal ci benn nataal buñ dugal. Danga koy jox benn nataal boole ci soppi kamera bi (rotaasioŋ ak tekki bu ndaw), model bi dafay defar ni mbir mi di nuru ci gis-gis bu bees boobu. Li gëna am solo mooy xeetu diffusion 2D yu mag yi, ñu tàggat ci dajale nataali web yu mag, dañu jël bu baax geometrik ak physique ci ni mbir yi di nuru ci 3D. Suñu defaree ay done yuñ defaree ay mbir yuñ defaree ci angle kamera yu bari yuñ kontre (jëfandikoo Objaverse), model bi dafay jàng ni ñuy xaymaa prior yooyu ci kontre kamera bu leer. gis-gis yiñ defar mën nañu dundal tabaxaat 3D bi ci suuf.
Gis-gis xarala
Modèle bi dafa am ñaari anam ci nataalu source bi: ab CLIP embedding dafay boole ak pose kamera bi (azimuth, elevation, rayon) ngir dindi cross-attention, ci noonu la nataal bu ñor bi di chaine-concatené ci latent bu bari bruit bi suko defee ay detay yu ndaw ak dàntite ñu ngi denc. Taggat dafay jëfandikoo ñatti nataal-pose-nataal yuñ defaree ci mbir CAD, suko defee reso bi jàng kàrt biñ mëna saytu diggante coppite ci wàllu xool ak coppite ci pixel yi ciy juddoo.
Xam Zero-1-ba-3 Tasaaroo gis-gis bu bees
Zero-1-to-3 dafay soppi benn nataalu benn mbir mu nekk nataalu benn mbir buñu xoolee ci angle bu bees, jëfandikoo modelu diffusion bu lalu ci wëréelu kamera bi nga laaj. Dafa am solo ndax daf lay may nga defaraat gis-gis yu méngoo ci 3D te doo musa skane mbir mi ci wàll yu bari. Zero-1-to-3 Novel View Diffusion bokk na ci liggéey yi ñuy gis ci ordinatër, yuy tekki wala defar ay mejaa yuñ mëna gis ngir jàngat, liggéey ak sos lu bees. Ngir tabax xam-xam bu xóot, jàppal Zero-1-to-3 Novel View Diffusion ni xeetu liggéey, du benn man-man: fësal njariñ yi nga bëgg, leeral xalaat yi, ak tàqale li sistem bi mëna def ci anam wu wóor ak li ba leegi soxla àtteb kàngam.
Ci jëf, ekip yu am doole yiy jëfandikoo Zero-1-to-3 Novel View Diffusion dañuy méngale njubte gi ak dëggantaanu liggéey bi, lu ci melni kalite done, faraasu leeral, ak méngoo etiketu. Dañuy bind kritër yu leer ngir am ndam, natt leen ci done yu dëggu ak def liggéey, ba noppi ñu baamtu ci anamu ñàkka mëna seetlu, du ci benn yoon benchmark wins. Mooy barab bi xam-xam theorie bi di soppiku nekk kàttan buy yàgg ci produit yi, ci politik yi ak ci liggéey yi.
Visual IA mën na otomatise saytu, gis ak etiketu liggéey ci eskaal. Ci jamano jooju, yelleefi nataal ak nangu mën na nekk risku yoon sudee fimu bawoo leerul. Xeetu jëf bi gëna dëgër mooy boole gaawaayu jàngat ak disipline nguur: doxal pilote, jàpp firnde, siiwal dogal yi, ak wéy di yeesal kaaraange gi ci anam wi ñuy doxalee, li jëfandikukat bi di xaar, ak sàrti sàrt yi di jëm kanam.
njeextalu pexe
Visual IA mën na otomatise saytu, gis ak etiketu liggéey ci eskaal.
Visual IA mën na otomatise saytu, gis ak etiketu liggéey ci eskaal. Ci jëfandikoo yu am kalite bu kawe, loolu dañu koy tekki ci sàrti liggéey yuñ mëna natt, ay peggu boroom, ak ay xew-xewu xoolaat yu bari suko defee ekip yi mëna yokk wóolu seen bopp ci barabu yokk lu jaxasoo.
Ekipu kreatif yi mën nañu defar konsept yu gëna gaaw te duñu def lu bari ci loxo.
Ekipu kreatif yi mën nañu defar konsept yu gëna gaaw te duñu def lu bari ci loxo. Ci jëfandikoo yu am kalite bu kawe, loolu dañu koy tekki ci sàrti liggéey yuñ mëna natt, ay peggu boroom, ak ay xew-xewu xoolaat yu bari suko defee ekip yi mëna yokk wóolu seen bopp ci barabu yokk lu jaxasoo.
Liggéeyukaay yi mën nañu jëfandikoo siñaal nataal wala wideo yu jafewoon lool ci liggéey.
Liggéeyukaay yi mën nañu jëfandikoo siñaal nataal wala wideo yu jafewoon lool ci liggéey. Ci jëfandikoo yu am kalite bu kawe, loolu dañu koy tekki ci sàrti liggéey yuñ mëna natt, ay peggu boroom, ak ay xew-xewu xoolaat yu bari suko defee ekip yi mëna yokk wóolu seen bopp ci barabu yokk lu jaxasoo.
Doxal ci àdduna dëgg
Defar ay nataalu benn produit ci plateforme bi suko defee limu e-commerce bi mëna wane produit bi ci wàll yépp
Bootstrapping ab mesh 3D bu am tekstuur bu ab mbir ci benn nataalu telefon bu yomb ngir ay preview AR
Sosal art bu méngoo ak wàll yu bari ci ab personage wala prop ngir jeu video ak artist konsept film
Dundal gis-gis yu bees yiñ defar ci NeRF wala tabaxaat Gaussian Splatting ngir feesal geometrie buñu gisul
Modèlu jëfandikoo
Zero-1-to-3 Novel Xool Diffusion ci jëf
Defar ay nataalu benn produit ci plateforme bi suko defee limu e-commerce bi mëna wane produit bi ci wàll yépp.
Defar ay gis-gis ci benn nataalu produit suko defee benn limu e-commerce mën wane mbir mi ci wàll yépp. Ekip yi dañuy faral di am njariñ yu gëna baax suñu joxee ay threshold yu baax ci kanam, tëye yoonu escalation nit ngir jafe-jafe yi, ba noppi topp njariñu produit ak njëgu njuumte ci diir bi.
Zero-1-to-3 Novel Xool Diffusion ci jëf
Bootstrapping ab mesh 3D bu am tekstuur bu ab mbir ci benn nataalu telefon bu yomb ngir ay preview AR.
Bootstrapping benn textured 3D mesh bu benn mbir ci benn foto telefon bu yomb ngir AR previews Ekip yi dañuy faral di am njariñ yu gëna baax suñu joxee ay threshold yu baax ci kanam, tëye yoonu escalation nit ngir jafe-jafe yi, ba noppi topp njariñu produit ak njëgu njuumte ci diir bi.
Zero-1-to-3 Novel Xool Diffusion ci jëf
Sosal art bu lalu ci royuwaay yu bari ci benn personage wala rekwisiit ngir artist konsept jeu ak filmu.
Sosal art bu méngoo ak angle yu bari yu jëm ci benn personage wala prop ngir jeu ak filmu konsept artist yi Ekip yi dañuy faral di am njariñ yu gëna baax suñu joxee threshold yu baax ci kanam, tëye yoonu escalation nit ngir jafe-jafe yi, ba noppi topp njariñu produit yi ak njëgu njuumte yi ci diir bi.
Zero-1-to-3 Novel Xool Diffusion ci jëf
Dundal gis-gis yu bees yiñ defar ci NeRF wala tabaxaat Gaussian Splatting ngir feesal geometri buñu gisul.
Feeding synthesized gis-gis yu bees ci NeRF wala Gaussian Splatting tabaxaat ngir fees ci geometrie buñu gisul Ekip yi dañuy faral di am njariñ yu gëna baax suñu joxee threshold yu baax ci kanam, tëye yoonu escalation nit ngir jafe-jafe yi, ba noppi topp njariñu produit ak njëgu njuumte ci diir bi.
Risk yi ak balustrade yi
Yelleefi nataal ak nangu mën na nekk risku yoon sudee fi ñu bawoo leerul.
Performance model bi mën na wuute ci leeraay bi, demographie bi ak environmaa bi.
Njuumteg positive yi mën nañu dem te kenn duko seetlu fileek xool wuñu buntu wóolu sa bopp.
Roadmap ngir samp gi
Mandargal kritërium nangug njub, woowaat ak njëgu njuumte.
Mandargal kritërium nangug njub, woowaat ak njëgu njuumte. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppalu génne gi, tëj bërëb bi, ba noppi yokk jëfandikoo gi.
Saytu ak done yu méngoo ak anam yi ñuy liggéeyee dëgg.
Saytu ak done yu méngoo ak anam yi ñuy liggéeyee dëgg. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppalu génne gi, tëj bërëb bi, ba noppi yokk jëfandikoo gi.
Yokk jàngat nit ngir xam fu wóorul dara wala am njeexital yu rëy.
Yokk jàngat nit ngir xam fu wóorul dara wala am njeexital yu rëy. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppalu génne gi, tëj bërëb bi, ba noppi yokk jëfandikoo gi.
Toppal model drift bi nga baaxal ko ginaaw bi kamera bi wala done yi soppeekoo.
Toppal model drift bi nga baaxal ko ginaaw bi kamera bi wala done yi soppeekoo. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppalu génne gi, tëj bërëb bi, ba noppi yokk jëfandikoo gi.