DUst3R ipon 3D Atunṣe
DUSt3R ṣe atunṣe geometry ipon 3D lati ọwọ diẹ ti awọn fọto lasan laisi nilo awọn ipo kamẹra ti a mọ tabi isọdiwọn.
Akopọ
O lu opo gigun ti opo-igbesẹ olona-igbesẹ ibile sinu nẹtiwọọki nkankikan kan ti o kan ṣe awọn aaye 3D jade.
Jin Dive
Atunkọ 3D Ayebaye (igbekalẹ-lati-iṣipopada pẹlu sitẹrio wiwo-pupọ) jẹ ẹwọn ẹlẹgẹ: ṣawari awọn ẹya, baramu wọn, awọn iduro kamẹra siro, triangulate, lẹhinna densify. Ipele kọọkan le kuna, ati pe o nigbagbogbo nilo ọpọlọpọ awọn aworan agbekọja ati awọn intrinsics kamẹra ti a mọ. DUst3R (Wang et al., 2024) ṣe atunṣe gbogbo iṣoro naa. Fi fun awọn aworan meji nikan, nẹtiwọọki ti o da lori ẹrọ iyipada taara ṣe atunṣe 'pointmap' fun ọkọọkan - ipoidojuko 3D ipon fun-pixel, mejeeji ti ṣafihan ni fireemu ipoidojuko kanna. Lati awọn maapu ti o ni ibamu wọnyẹn o le ka ijinle, awọn iduro kamẹra, ati awọn ibaamu fẹrẹẹ fun ọfẹ. Fun diẹ ẹ sii ju awọn aworan meji lọ, DUSt3R ṣe titete agbaye kan ti o di gbogbo awọn maapu ibi-itọka meji sinu awọsanma ojuami deede. O ṣiṣẹ paapaa pẹlu awọn kamẹra ti ko ni iwọn ati diẹ pupọ, awọn iwo aye ti o ni aaye pupọ.
Imọ-imọ-ẹrọ
Ijade mojuto ni maapu aaye: aworan aworan ipon 2D-si-3D ti o gbe gbogbo ẹbun ti aworan si ipo 3D ti o fojuhan, pẹlu awọn aworan mejeeji ti bata kan tun pada sinu fireemu ipoidojuko kamẹra akọkọ. Nitoripe ifọrọranṣẹ jẹ alaiṣedeede ni awọn ipoidojuko 3D ti o pin, ṣe iṣiro ati ibaramu di awọn kika kika isalẹ ju awọn ohun pataki ṣaaju. Ayipada Iran kan pẹlu akiyesi-agbelebu laarin awọn ẹka aworan meji jẹ ki nẹtiwọọki ṣe idi apapọ nipa awọn iwo mejeeji, ẹkọ geometry taara lati awọn ipilẹ data nla ti awọn aworan ti o han.
Ipa Ilana
Iyara ati iwọn
Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn.
Kọ awọn yiyan
Awọn ẹgbẹ ẹda le ṣe apẹrẹ awọn imọran yiyara pẹlu awọn atunyẹwo afọwọṣe diẹ.
Ẹgbẹ ati ṣiṣan iṣẹ
Awọn iṣẹ ṣiṣe le lo aworan ati awọn ifihan agbara fidio ti o nira tẹlẹ lati ṣiṣẹ.
Ojo iwaju ti DUst3R ipon 3D Atunṣe
DUSt3R tan laini iṣẹ ti n lọ ni iyara - MASt3R ṣe afikun ibaramu ipon to lagbara, ati awọn atẹle titari si akoko gidi ati iwọn wiwo pupọ. Ilana naa jẹ kedere: ipari-si-opin ẹkọ geometry ti o rọpo awọn opo gigun ti afọwọṣe brittle. Reti awọn awoṣe mapu aaye wọnyi lati jẹ ifunni taara sinu SLAM, awọn ẹrọ roboti, AR, ati paapaa ipilẹṣẹ Gaussian-splating, ṣiṣe awọn fọto foonu lasan to lati ṣe agbejade metric, 3D deede lati fere eyikeyi gbigba.
Real-World imuse
Yipada awọn aworan ifẹsẹmulẹ foonu diẹ ti yara kan tabi ohun kan sinu awọsanma aaye 3D ti o ṣee ṣe laisi ṣiṣayẹwo awọn ipo kamẹra.
Imupadabọ awọn iduro kamẹra ati ijinle si bootstrap ibosile 3D atunkọ tabi Gaussian splatting lati fọnka, awọn aworan ti ko ni iwọn.
Atunse awọn iwoye lati ibi ipamọ tabi awọn fọto intanẹẹti nibiti data isọdiwọn kamẹra ko si.
Pese awọn iṣiro jiometirika iyara fun awọn roboti ati lilọ kiri AR lati awọn oju iwo meji tabi mẹta.
Awọn ewu & Awọn ọna iṣọ
Awọn ẹtọ aworan ati igbanilaaye le di awọn eewu labẹ ofin ti o ba jẹ afihan.
Iṣe awoṣe le yatọ kọja ina, awọn ẹda eniyan, ati awọn agbegbe.
Awọn idaniloju eke le ma ṣe akiyesi ayafi ti a ba ṣe abojuto awọn ala igbẹkẹle.
Ilana Ilana imuse
Ṣetumo awọn ibeere gbigba fun pipe, iranti, ati awọn idiyele aṣiṣe.
Ṣe idanwo pẹlu data ti o baamu awọn ipo iṣelọpọ gidi.
Ṣafikun atunyẹwo eniyan fun igbẹkẹle kekere tabi awọn asọtẹlẹ ipa-giga.
Tọpinpin awoṣe ki o ṣe tunṣe lẹhin kamẹra tabi awọn ayipada datasetto.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the DUSt3R Dense 3D Reconstruction quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Magic3D Ọrọ-to-3D Pipeline
Awọn ibeere ti a beere nigbagbogbo
Kini DUst3R Dese 3D Atunkọ?
DUSt3R ṣe atunṣe geometry ipon 3D lati ọwọ diẹ ti awọn fọto lasan laisi nilo awọn ipo kamẹra ti a mọ tabi isọdiwọn. O lu opo gigun ti opo-igbesẹ olona-igbesẹ ibile sinu nẹtiwọọki nkankikan kan ti o kan awọn aaye 3D jade.
Ohun bọtini nkan ti alaye ko DUst3R KO beere bi igbewọle, ko Ayebaye be-lati-išipopada?
DUSt3R ṣiṣẹ pẹlu awọn kamẹra ti ko ni iwọn ati awọn ipo aimọ; o ṣe iṣiro geometry taara lati awọn aworan aise.
Kini iṣejade aarin ti nẹtiwọọki DUST3R ṣe atunṣe fun aworan kọọkan?
DUST3R ṣe asọtẹlẹ maapu aaye kan, fifun gbogbo ẹbun ipoidojuko 3D ipon, pẹlu awọn aworan mejeeji ti bata ni fireemu ipoidojuko ti o pin.
Ninu bata aworan DUSt3R, fireemu ipoidojuko wo ni awọn maapu aaye mejeeji ti han ninu?
Awọn maapu aaye awọn aworan mejeeji ni a tun pada sinu fireemu ipoidojuko kamẹra akọkọ, eyiti o jẹ ki geometry wọn jẹ afiwera taara.
Bawo ni DUst3R ṣe gba awọn iduro kamẹra ati awọn ibaamu piksẹli?
Nitoripe ifọrọranṣẹ jẹ alaimọ ni awọn ipoidojuko 3D pinpin, awọn ipo ati awọn ibaamu ni a ka jade lati awọn maapu aaye dipo ki o yanju ni akọkọ.
Bawo ni DUst3R ṣe mu diẹ sii ju awọn aworan titẹ sii meji lọ?
Fun awọn iwo lọpọlọpọ, DUSt3R nṣiṣẹ titete agbaye ti o dapọ gbogbo awọn maapu ibi-itọka meji sinu awọsanma ojuami deede.