Ujenzi mpya wa 3D wa DUST3R Mnene
DUSt3R huunda upya jiometri mnene ya 3D kutoka kwa picha chache za kawaida bila kuhitaji nafasi za kamera zinazojulikana au urekebishaji.
Muhtasari
It collapses the traditional multi-step photogrammetry pipeline into a single neural network that just outputs 3D points.
Dive ya kina
Uundaji upya wa 3D wa kawaida (muundo-kutoka-mwendo pamoja na stereo yenye mwonekano-nyingi) ni msururu dhaifu: tambua vipengele, uvilinganishe, kadiria misimamo ya kamera, punguza pembetatu, kisha msongamano. Kila hatua inaweza kushindwa, na kwa kawaida unahitaji picha nyingi zinazopishana na mambo ya ndani ya kamera inayojulikana. DUSt3R (Wang et al., 2024) hurekebisha tatizo zima. Kwa kuzingatia picha mbili tu, mtandao unaotegemea kibadilishaji rejeshi moja kwa moja 'ramani kuu' kwa kila moja - kiratibu mnene cha 3D kwa kila pikseli, zote zikionyeshwa katika fremu sawa ya kuratibu. Kutoka kwa ramani hizo zilizopangiliwa unaweza kusoma kwa kina, picha za kamera na mechi bila malipo. Kwa zaidi ya picha mbili, DUSt3R hufanya upatanisho wa kimataifa ambao huunganisha ramani zote za pande mbili kwenye wingu moja thabiti. Inafanya kazi hata kwa kamera zisizo na kipimo na maoni machache sana, yaliyo na nafasi nyingi.
Ufahamu wa Kiufundi
Matokeo ya msingi ni ramani kuu: ramani mnene ya 2D-to-3D ambayo inaweka kila pikseli ya picha katika eneo dhahiri la 3D, na picha zote mbili za jozi zikirejeshwa kwenye fremu ya kuratibu ya kamera ya kwanza. Kwa sababu mawasiliano yanaonekana katika viwianishi vya 3D vilivyoshirikiwa, ukadiriaji wa weka na ulinganishaji huwa usomaji wa chini badala ya sharti. Kibadilishaji Maono chenye umakini mkubwa kati ya matawi mawili ya picha huruhusu mtandao kusababu kwa pamoja kuhusu mitazamo yote miwili, kujifunza jiometri moja kwa moja kutoka kwa seti kubwa za picha zilizowekwa.
Athari za kimkakati
Kasi na kiwango
Visual AI inaweza kufanya ukaguzi, ugunduzi na kazi za kuweka lebo kiotomatiki kwa kiwango.
Tengeneza chaguzi
Timu bunifu zinaweza kuiga dhana kwa haraka zaidi na masahihisho machache ya mikono.
Timu na mtiririko wa kazi
Uendeshaji unaweza kutumia ishara za picha na video ambazo hapo awali zilikuwa ngumu kuchakata.
Mustakabali wa Ujenzi Mpya wa DUST3R Mnene wa 3D
DUSt3R iliibua kazi inayosonga kwa kasi - MASt3R huongeza ulinganifu mnene, na ufuatiliaji unasukuma kuelekea katika muda halisi na uwezekano wa kutazamwa mara nyingi. Mwenendo uko wazi: jiometri iliyojifunza kutoka mwisho hadi mwisho ikichukua nafasi ya mabomba ya kuharibika yaliyoundwa kwa mkono. Tarajia miundo hii ya ramani kuu ili kulisha moja kwa moja kwenye SLAM, robotiki, AR, na hata uanzishaji wa kunyunyiza kwa Gaussian, hivyo kufanya picha za kawaida za simu kutosheleza metriki, 3D thabiti kutoka kwa karibu aina yoyote ya kunaswa.
Utekelezaji wa Ulimwengu Halisi
Kugeuza vijipicha vichache vya simu vya kawaida vya chumba au kifaa kuwa wingu linaloweza kutumika la 3D bila kukagua nafasi za kamera.
Kurejesha mwonekano wa kamera na kina cha bootstrap ya ujenzi wa 3D ya chini ya mkondo au kunyunyiza kwa Gaussian kutoka kwa picha chache, zisizo na kipimo.
Inaunda upya matukio kutoka kwenye kumbukumbu au picha za mtandao ambapo data ya urekebishaji wa kamera haipatikani.
Inatoa makadirio ya haraka ya jiometri kwa robotiki na urambazaji wa Uhalisia Pepe kutoka mitazamo miwili au mitatu pekee.
Hatari & Walinzi
Haki za picha na idhini zinaweza kuwa hatari za kisheria ikiwa asili haiko wazi.
Utendaji wa muundo unaweza kutofautiana katika mwangaza, idadi ya watu na mazingira.
Chanya za uwongo zinaweza kutotambuliwa isipokuwa viwango vya uaminifu vifuatiliwe.
Ramani ya Utekelezaji
Bainisha vigezo vya kukubalika vya usahihi, kumbukumbu na gharama za makosa.
Jaribu kwa kutumia data inayolingana na hali halisi ya uzalishaji.
Ongeza ukaguzi wa kibinadamu kwa utabiri wa chini au utabiri wa athari kubwa.
Fuatilia mtindo wa kuteleza na uthibitishe upya baada ya mabadiliko ya kamera au mkusanyiko wa data.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the DUSt3R Dense 3D Reconstruction quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Magic3D Text-to-3D Bomba
Maswali yanayoulizwa mara kwa mara
What is DUSt3R Dense 3D Reconstruction?
DUSt3R huunda upya jiometri mnene ya 3D kutoka kwa picha chache za kawaida bila kuhitaji nafasi za kamera zinazojulikana au urekebishaji. Hukunja bomba la kitamaduni la upigaji picha wa hatua nyingi hadi mtandao mmoja wa neva ambao hutoa pointi za 3D pekee.
Je, ni sehemu gani muhimu ya habari ambayo DUST3R HAITAJI kama ingizo, tofauti na muundo wa kawaida-kutoka-mwendo?
DUSt3R inafanya kazi na kamera zisizo na kipimo na pozi zisizojulikana; inakadiria jiometri moja kwa moja kutoka kwa picha mbichi.
Ni matokeo gani ya kati ambayo mtandao wa DUST3R hurejelea kwa kila picha?
DUSt3R inatabiri ramani ya pointi, ikikabidhi kila pikseli kiratibu mnene cha 3D, na picha zote mbili za jozi katika fremu iliyoshirikiwa ya kuratibu.
Katika jozi ya picha ya DUST3R, ni fremu gani ya kuratibu zote mbili zimeonyeshwa?
Ramani zote mbili za picha hurejeshwa katika fremu ya kuratibu ya kamera ya kwanza, ambayo inafanya jiometri yao kulinganishwa moja kwa moja.
Je, DUST3R hupata vipi picha za kamera na mechi za saizi?
Kwa sababu mawasiliano yanaonekana katika viwianishi vya 3D vilivyoshirikiwa, pozi na mechi husomwa kutoka kwenye ramani badala ya kutatuliwa kwanza.
Je, DUST3R hushughulikia vipi zaidi ya picha mbili za kuingiza?
Kwa mionekano mingi, DUSt3R huendesha mpangilio wa kimataifa ambao unaunganisha ramani zote za pande mbili kwenye wingu moja thabiti.