DUST3R ጥቅጥቅ ባለ 3-ል መልሶ ግንባታ
DUSt3R የታወቁ የካሜራ ቦታዎችን ወይም የመለኪያ ማስተካከያ ሳያስፈልጋቸው ጥቅጥቅ ያሉ 3D ጂኦሜትሪ ከጥቂት ተራ ፎቶዎች እንደገና ይገነባል።
አጠቃላይ እይታ
It collapses the traditional multi-step photogrammetry pipeline into a single neural network that just outputs 3D points.
ጥልቅ ዳይቭ
ክላሲክ 3D መልሶ መገንባት (መዋቅር-ከእንቅስቃሴ እና ባለብዙ እይታ ስቴሪዮ) በቀላሉ የማይሰበር ሰንሰለት ነው፡ ባህሪያትን ፈልጎ ማግኘት፣ እነሱን ማዛመድ፣ የካሜራ አቀማመጦችን ገምት፣ ሶስት ማዕዘን ገልብጥ፣ ከዚያም መጠገን። እያንዳንዱ ደረጃ ሊሳካ ይችላል፣ እና ብዙ ተደራራቢ ምስሎች እና የታወቁ የካሜራ ውስጣዊ ነገሮች ያስፈልጉዎታል። DUST3R (Wang et al., 2024) አጠቃላይ ችግሩን ያስተካክላል። ሁለት ምስሎችን ብቻ ከሰጠን፣ ትራንስፎርመርን መሰረት ያደረገ አውታረ መረብ ለእያንዳንዳቸው 'ነጥብ ካርታ'ን በቀጥታ ይመልሳል - ጥቅጥቅ ባለ ፒክሴል 3D መጋጠሚያ፣ ሁለቱም በተመሳሳይ መጋጠሚያ ፍሬም ውስጥ ይገለጻሉ። ከእነዚያ ከተሰለፉ የነጥብ ካርታዎች ጥልቀትን፣ የካሜራ አቀማመጥን እና ግጥሚያዎችን በነጻ ማንበብ ይችላሉ። ከሁለት በላይ ምስሎችን ለማግኘት DUSt3R ሁሉንም ጥንድ አቅጣጫዊ ካርታዎች ወደ አንድ ወጥ የሆነ የነጥብ ደመና የሚሰፋ ዓለም አቀፍ አሰላለፍ ያከናውናል። ባልተስተካከሉ ካሜራዎች እና በጣም ጥቂቶች በስፋት በተቀመጡ እይታዎች እንኳን ይሰራል።
ቴክኒካዊ ግንዛቤ
ዋናው ውፅዓት የነጥብ ካርታው ነው፡ እያንዳንዱን የምስል ፒክሴል በግልፅ 3D ቦታ ላይ የሚያስቀምጥ ጥቅጥቅ ባለ 2D-3D ካርታ ስራ ሁለቱም ጥንድ ምስሎች ወደ መጀመሪያው የካሜራ መጋጠሚያ ፍሬም ተመልሰዋል። የደብዳቤ ልውውጥ በተጋሩ የ3-ል መጋጠሚያዎች ውስጥ የተዘዋዋሪ ስለሆነ፣ የግምት አቀማመጥ እና ማዛመድ ከቅድመ ሁኔታዎች ይልቅ የታችኛው ተፋሰስ ንባብ ይሆናሉ። የእይታ ትራንስፎርመር በሁለቱ የምስል ቅርንጫፎች መካከል ተሻጋሪ ትኩረት ያለው አውታረ መረቡ ስለ ሁለቱም እይታዎች በጋራ እንዲያስብ ያስችለዋል፣ ጂኦሜትሪ በቀጥታ ከተቀረጹ ምስሎች ትልቅ የመረጃ ስብስቦችን ይማራል።
ስልታዊ ተጽእኖ
ፍጥነት እና ልኬት
ቪዥዋል AI የመመርመሪያ፣ የማወቅ እና የመለያ ስራዎችን በሚዛን መጠን በራስ ሰር ሊያደርግ ይችላል።
ምርጫዎችን ይገንቡ
የፈጠራ ቡድኖች በጥቂት የእጅ ክለሳዎች ጽንሰ-ሀሳቦችን በፍጥነት መተየብ ይችላሉ።
ቡድን እና የስራ ፍሰት
ክዋኔዎች ከዚህ ቀደም ለማስኬድ አስቸጋሪ የነበሩትን የምስል እና የቪዲዮ ምልክቶችን መጠቀም ይችላሉ።
የ DUST3R ጥቅጥቅ ባለ 3D መልሶ ግንባታ የወደፊት ዕጣ
DUSt3R በፍጥነት የሚንቀሳቀስ የስራ መስመርን አነሳስቷል - MAST3R ጠንካራ ጥቅጥቅ ያለ ተዛማጅን ይጨምራል፣ እና ተከታዮቹ ወደ ቅጽበታዊ እና የብዙ እይታ ልኬት ይገፋሉ። አዝማሙ ግልጽ ነው፡- ከጫፍ እስከ ጫፍ የተማረ ጂኦሜትሪ ተሰባሪ በእጅ የተሰሩ የቧንቧ መስመሮችን በመተካት። እነዚህ የነጥብ ካርታ ሞዴሎች በቀጥታ ወደ SLAM፣ ሮቦቲክስ፣ ኤአር እና ጋውሲያን-ስፕላቲንግ ጅምር እንዲመገቡ ይጠብቁ፣ ይህም ተራ የስልክ ፎቶዎችን ከማንኛውም ቀረጻ ሜትሪክ እና ወጥ የሆነ 3D ለማምረት በቂ ነው።
የእውነተኛ-ዓለም አተገባበር
የካሜራ አቀማመጦችን ሳይቃኙ ጥቂት ተራ የስልክ ቅጽበታዊ ገጽ እይታዎችን ወደ አንድ ክፍል ወይም ነገር ወደ ጠቃሚ የ3-ል ነጥብ ደመና መለወጥ።
የካሜራ አቀማመጦችን መልሶ ማግኘት እና ጥልቀት ወደ ታችኛው ተፋሰስ 3D መልሶ ግንባታ ወይም Gaussian splatting ከትንሽ፣ ካልተስተካከለ ምስሎች።
የካሜራ ልኬት ውሂብ የማይገኝባቸውን ከማህደር ወይም ከኢንተርኔት ፎቶዎች የተገኙ ትዕይንቶችን እንደገና በመገንባት ላይ።
ለሮቦቲክስ እና ለኤአር አሰሳ ፈጣን የጂኦሜትሪ ግምቶችን ከሁለት ወይም ሶስት እይታዎች ብቻ ማቅረብ።
አደጋዎች እና የጥበቃ መንገዶች
የምስል መብቶች እና ፈቃድ ግልጽ ካልሆነ ህጋዊ አደጋዎች ሊሆኑ ይችላሉ።
የሞዴል አፈጻጸም በብርሃን፣ በስነ-ሕዝብ እና በአካባቢው ሊለያይ ይችላል።
የመተማመን ገደቦች ካልተቆጣጠሩ የውሸት አወንታዊ ነገሮች ላይታዩ ይችላሉ።
የትግበራ ፍኖተ ካርታ
ለትክክለኛነት፣ ለማስታወስ እና ለስህተት ወጪዎች የመቀበያ መስፈርቶችን ይግለጹ።
ከእውነተኛ የምርት ሁኔታዎች ጋር በሚዛመድ ውሂብ ይሞክሩ።
ለዝቅተኛ እምነት ወይም ከፍተኛ ተጽዕኖ ትንበያ የሰው ግምገማን ያክሉ።
ከካሜራ ወይም የውሂብ ስብስብ ለውጦች በኋላ የሞዴሉን ተንሸራታች ይከታተሉ እና እንደገና ያረጋግጡ።
ማሰስዎን ይቀጥሉ
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the DUSt3R Dense 3D Reconstruction quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
ቀጣይ መመሪያ
Magic3D ጽሑፍ-ወደ-3D የቧንቧ መስመር
በተደጋጋሚ የሚጠየቁ ጥያቄዎች
What is DUSt3R Dense 3D Reconstruction?
DUSt3R የታወቁ የካሜራ ቦታዎችን ወይም የመለኪያ ማስተካከያ ሳያስፈልጋቸው ጥቅጥቅ ያሉ 3D ጂኦሜትሪ ከጥቂት ተራ ፎቶዎች እንደገና ይገነባል። ባህላዊውን ባለብዙ ደረጃ የፎቶግራምሜትሪ ቧንቧ መስመር 3D ነጥቦችን ወደሚያወጣ ነጠላ የነርቭ አውታረ መረብ ይወድቃል።
እንደ ክላሲክ መዋቅር-ከእንቅስቃሴ በተለየ DUST3R እንደ ግብአት የማይፈልገው የትኛው ቁልፍ መረጃ ነው?
DUSt3R ካልተስተካከለ ካሜራዎች እና ከማይታወቁ አቀማመጦች ጋር ይሰራል; ከጥሬ ምስሎች በቀጥታ ጂኦሜትሪ ይገምታል.
ለእያንዳንዱ ምስል የDUST3R አውታረመረብ ወደ ኋላ የሚመለስበት ማዕከላዊ ውፅዓት ምንድነው?
DUSt3R የነጥብ ካርታ ይተነብያል፣ እያንዳንዱ ፒክሰል ጥቅጥቅ ባለ 3-ል መጋጠሚያ በመመደብ፣ በሁለቱም ጥንድ ምስሎች በጋራ መጋጠሚያ ፍሬም ውስጥ።
በ DUSt3R ምስል ጥንድ ውስጥ፣ ሁለቱም የነጥብ ካርታዎች በየትኛው መጋጠሚያ ፍሬም ነው የተገለጹት?
የሁለቱም ምስሎች ነጥብ ካርታዎች ወደ መጀመሪያው የካሜራ መጋጠሚያ ፍሬም ተመልሰዋል፣ ይህም ጂኦሜትሪዎቻቸውን በቀጥታ ተመጣጣኝ ያደርገዋል።
DUSt3R እንዴት የካሜራ አቀማመጥ እና የፒክሰል ግጥሚያዎችን ያገኛል?
የደብዳቤ ልውውጥ በጋራ 3-ል መጋጠሚያዎች ውስጥ ስውር ስለሆነ፣ ፖዝ እና ግጥሚያዎች መጀመሪያ ከመፍትሄው ይልቅ ከነጥብ ካርታዎች ይነበባሉ።
DUSt3R ከሁለት በላይ የግቤት ምስሎችን እንዴት ይቆጣጠራል?
ለብዙ እይታዎች፣ DUSt3R ሁሉንም ጥንድ አቅጣጫዊ ካርታዎች ወደ አንድ ወጥ የሆነ የነጥብ ደመና የሚያዋህድ ዓለም አቀፍ አሰላለፍ ያካሂዳል።