DUSt3R گھنے 3D تعمیر نو

It collapses the traditional multi-step photogrammetry pipeline into a single neural network that just outputs 3D points.

کلاسک 3D تعمیر نو (سٹرکچر سے موشن پلس ملٹی ویو سٹیریو) ایک نازک سلسلہ ہے: خصوصیات کا پتہ لگائیں، ان سے میچ کریں، کیمرے کے پوز کا تخمینہ لگائیں، مثلث بنائیں، پھر کثافت کریں۔ ہر مرحلہ ناکام ہو سکتا ہے، اور آپ کو عام طور پر بہت سی اوورلیپنگ امیجز اور کیمرہ کی اندرونی چیزوں کی ضرورت ہوتی ہے۔ DUSt3R (Wang et al.، 2024) پورے مسئلے کو دوبارہ ترتیب دیتا ہے۔ صرف دو تصاویر کو دیکھتے ہوئے، ایک ٹرانسفارمر پر مبنی نیٹ ورک ہر ایک کے لیے ایک 'پوائنٹ میپ' کو براہ راست پیچھے ہٹاتا ہے - ایک گھنے فی پکسل 3D کوآرڈینیٹ، دونوں کا اظہار ایک ہی کوآرڈینیٹ فریم میں ہوتا ہے۔ ان منسلک پوائنٹ میپس سے آپ گہرائی، کیمرہ پوز، اور میچ تقریباً مفت پڑھ سکتے ہیں۔ دو سے زیادہ امیجز کے لیے، DUSt3R ایک عالمی سیدھ کو انجام دیتا ہے جو تمام جوڑے کے پوائنٹ میپس کو ایک مستقل پوائنٹ کلاؤڈ میں سلائی کرتا ہے۔ یہ غیر کیلیبریٹڈ کیمروں اور بہت کم، وسیع فاصلہ والے نظاروں کے ساتھ بھی کام کرتا ہے۔