मैरीगोल्ड प्रसार गहराई का अनुमान

मैरीगोल्ड अत्यधिक विस्तृत गहराई के मानचित्रों की भविष्यवाणी करने के लिए एक पूर्व-प्रशिक्षित छवि-पीढ़ी प्रसार मॉडल (स्थिर प्रसार) का पुन: उपयोग करता है। यह दिखाता है कि आप आश्चर्यजनक रूप से कम प्रशिक्षण डेटा के साथ जनरेटर के समृद्ध दृश्य ज्ञान को एक सटीक धारणा उपकरण में बदल सकते हैं।

मैरीगोल्ड (ईटीएच ज्यूरिख, सीवीपीआर 2024 बेस्ट पेपर ऑनरेबल मेंशन) एक सशर्त पीढ़ी की समस्या के रूप में गहराई के आकलन को फिर से परिभाषित करता है। स्क्रैच से गहराई वाले नेटवर्क को प्रशिक्षित करने के बजाय, यह एक इनपुट छवि पर वातानुकूलित गहराई मानचित्र को 'उत्पन्न' करने के लिए स्थिर प्रसार को ठीक करता है। अंतर्दृष्टि यह है कि फोटोरिअलिस्टिक छवियों को संश्लेषित करने के लिए प्रशिक्षित एक मॉडल पहले से ही अपने अव्यक्त स्थान में दृश्य ज्यामिति, प्रकाश व्यवस्था और संरचना को गहराई से सीख चुका है, जो कि गहराई के लिए उपयोगी है। उल्लेखनीय रूप से, मैरीगोल्ड को केवल सिंथेटिक डेटासेट (जैसे हाइपरसिम और वर्चुअल केआईटीटीआई) पर ठीक से ट्यून किया गया था, फिर भी यह शून्य-शॉट वाली वास्तविक तस्वीरों को अच्छी तरह से सामान्यीकृत करता है। यह असाधारण बारीक विवरण के साथ एफ़िन-अपरिवर्तनीय सापेक्ष गहराई उत्पन्न करता है, हालांकि पुनरावृत्त निरूपण इसे डेप्थएनीथिंग जैसे फ़ीड-फ़ॉरवर्ड मॉडल की तुलना में धीमा बनाता है।