ड्रीमफ़्यूज़न और स्कोर आसवन नमूनाकरण
ड्रीमफ़्यूज़न एक आलोचक के रूप में 2डी छवि प्रसार मॉडल का उपयोग करके पाठ से 3डी ऑब्जेक्ट उत्पन्न करता है, कभी भी किसी 3डी डेटा पर प्रशिक्षण नहीं देता है।
सिंहावलोकन
Its core invention, Score Distillation Sampling, became the foundational recipe for the entire text-to-3D field.
गहरा गोता
2022 में Google से ड्रीमफ्यूजन ने पूछा: क्या 2D टेक्स्ट-टू-इमेज मॉडल 3D दृश्य को हर कोण से सही दिखना सिखा सकता है? यह एक एनईआरएफ (न्यूरल रेडियंस फील्ड) को अनुकूलित करता है ताकि यादृच्छिक कैमरा दृष्टिकोण से रेंडरिंग, जब शोर किया जाए और जमे हुए प्रसार मॉडल (इमेजेन) में दिखाया जाए, तो टेक्स्ट प्रॉम्प्ट के लिए प्रशंसनीय छवियों के रूप में स्कोर किया जा सके। महत्वपूर्ण बात यह है कि यह किसी 3डी प्रशिक्षण डेटा का उपयोग नहीं करता है। सफलता स्कोर डिस्टिलेशन सैंपलिंग (एसडीएस) है: डिफ्यूजन मॉडल के महंगे यू-नेट के माध्यम से बैकप्रोपेगेटिंग के बजाय, एसडीएस मॉडल के अनुमानित शोर को सीधे रेंडर किए गए पिक्सल पर ग्रेडिएंट सिग्नल के रूप में उपयोग करता है। इसे हजारों दृष्टिकोणों में दोहराने से एक ही वाक्य से ज्यामिति और दृश्य-निर्भर उपस्थिति के साथ एक सुसंगत 3डी संपत्ति तैयार होती है।
तकनीकी अंतर्दृष्टि
एसडीएस प्रसार मॉडल को फ्रोजन स्कोरिंग फ़ंक्शन के रूप में मानता है। यह एनईआरएफ प्रस्तुत करता है, शोर जोड़ता है, प्रसार यू-नेट से उस शोर की भविष्यवाणी करने के लिए कहता है, और प्रदान की गई छवि पर वापस धकेले गए (अनुमानित शोर शून्य जोड़ा गया शोर) के रूप में ग्रेडिएंट की गणना करता है और इस प्रकार एनईआरएफ वजन होता है। यू-नेट जैकोबियन को छोड़ना इसे ट्रैक करने योग्य बनाता है। तीव्र परिणामों के लिए उच्च क्लासिफायर-मुक्त मार्गदर्शन (लगभग 100) की आवश्यकता होती है, जो विशेषता को अति-संतृप्त, कभी-कभी धुंधला 'ड्रीमफ्यूजन लुक' का कारण बनता है।
सामरिक प्रभाव
गति और पैमाना
विज़ुअल एआई बड़े पैमाने पर निरीक्षण, पता लगाने और टैगिंग कार्यों को स्वचालित कर सकता है।
विकल्प बनाएं
रचनात्मक टीमें कम मैन्युअल संशोधनों के साथ तेजी से अवधारणाओं का प्रोटोटाइप बना सकती हैं।
टीम और वर्कफ़्लो
संचालन छवि और वीडियो संकेतों का उपयोग कर सकते हैं जिन्हें संसाधित करना पहले कठिन था।
ड्रीमफ्यूजन और स्कोर डिस्टिलेशन सैंपलिंग का भविष्य
एसडीएस ने अपनी कमजोरियों को ठीक करने के लिए काम की एक समृद्ध श्रृंखला को जन्म दिया: रिज़ॉल्यूशन और गति के लिए मैजिक 3 डी, तेज, अधिक विविध आउटपुट के लिए प्रोलिफिकड्रीमर का वेरिएशनल स्कोर डिस्टिलेशन, और 'जानूस' मल्टी-फेस आर्टिफैक्ट पर हमला करने वाले तरीके। यह क्षेत्र तेजी से एसडीएस को मल्टी-व्यू डिफ्यूजन प्रायर और गॉसियन स्प्लैटिंग जैसे तेज़ 3डी अभ्यावेदन के साथ जोड़ रहा है। उम्मीद करें कि टेक्स्ट-टू-3डी तेजी से और अधिक ज्यामितीय रूप से विकसित होगा, जिससे हाथ से तैयार की गई संपत्तियों के साथ अंतर कम होगा।
वास्तविक विश्व कार्यान्वयन
अकेले पाठ से 'छोटी टोपी पहने एक गिलहरी की डीएसएलआर तस्वीर' का 3डी मॉडल तैयार करना
मैन्युअल 3डी स्कल्पटिंग के बिना ड्राफ्ट गेम और एआर एसेट बनाना
निर्यात योग्य जालों का निर्माण करना जिन्हें कलाकार खरोंच से बनाने के बजाय परिष्कृत करते हैं
एसडीएस के विरुद्ध नए टेक्स्ट-टू-3डी तरीकों के मूल्यांकन के लिए अनुसंधान आधार रेखाएं
जोखिम और रेलिंग
यदि उत्पत्ति अस्पष्ट है तो छवि अधिकार और सहमति कानूनी जोखिम बन सकते हैं।
मॉडल का प्रदर्शन प्रकाश व्यवस्था, जनसांख्यिकी और वातावरण के अनुसार भिन्न हो सकता है।
जब तक आत्मविश्वास की सीमा की निगरानी नहीं की जाती, तब तक झूठी सकारात्मक बातों पर ध्यान नहीं दिया जा सकता।
कार्यान्वयन रोडमैप
सटीकता, रिकॉल और त्रुटि लागत के लिए स्वीकृति मानदंड परिभाषित करें।
वास्तविक उत्पादन स्थितियों से मेल खाने वाले डेटा के साथ परीक्षण करें।
कम-आत्मविश्वास या उच्च-प्रभाव वाली भविष्यवाणियों के लिए मानवीय समीक्षा जोड़ें।
कैमरा या डेटासेट में बदलाव के बाद मॉडल बहाव को ट्रैक करें और पुनः सत्यापित करें।
अन्वेषण करते रहें
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the DreamFusion and Score Distillation Sampling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
अगली गाइड
स्कोर-आधारित जनरेटिव मॉडल
अक्सर पूछे जाने वाले प्रश्नों
What is DreamFusion and Score Distillation Sampling?
ड्रीमफ़्यूज़न एक आलोचक के रूप में 2डी छवि प्रसार मॉडल का उपयोग करके पाठ से 3डी ऑब्जेक्ट उत्पन्न करता है, कभी भी किसी 3डी डेटा पर प्रशिक्षण नहीं देता है। इसका मुख्य आविष्कार, स्कोर डिस्टिलेशन सैंपलिंग, संपूर्ण टेक्स्ट-टू-3डी क्षेत्र के लिए मूलभूत नुस्खा बन गया।
ड्रीमफ़्यूज़न किस 3D प्रतिनिधित्व को अनुकूलित करता है?
ड्रीमफ़्यूज़न एक एनईआरएफ को अनुकूलित करता है ताकि इसके प्रस्तुत दृश्य टेक्स्ट प्रॉम्प्ट के 2डी प्रसार मॉडल के निर्णय को संतुष्ट कर सकें।
ड्रीमफ्यूजन को कितने 3डी प्रशिक्षण डेटा की आवश्यकता है?
ड्रीमफ़्यूज़न अपने एकमात्र पर्यवेक्षण के रूप में जमे हुए 2डी टेक्स्ट-टू-इमेज प्रसार मॉडल का उपयोग करता है, जिसके लिए 3डी प्रशिक्षण डेटा की आवश्यकता नहीं होती है।
स्कोर डिस्टिलेशन सैम्पलिंग में मुख्य कम्प्यूटेशनल शॉर्टकट क्या है?
एसडीएस महंगे यू-नेट जैकोबियन से बचते हुए, रेंडर किए गए पिक्सल पर प्रत्यक्ष ग्रेडिएंट के रूप में पूर्वानुमानित-माइनस-एडेड शोर का उपयोग करता है।
ड्रीमफ़्यूज़न अत्यधिक उच्च क्लासिफायर-मुक्त मार्गदर्शन (~100) का उपयोग क्यों करता है?
एसडीएस ग्रेडिएंट शोर और कमजोर है, इसलिए स्पष्ट, ऑन-प्रॉम्प्ट ज्यामिति के लिए असामान्य रूप से उच्च मार्गदर्शन की आवश्यकता होती है, हालांकि यह अति-संतृप्ति का कारण बनता है।
मूल ड्रीमफ़्यूज़न ने अपने फ्रोजन पूर्व में किस 2D मॉडल का उपयोग किया था?
ड्रीमफ्यूजन को Google के इमेजेन टेक्स्ट-टू-इमेज डिफ्यूजन मॉडल पर फ्रोजन स्कोरिंग फ़ंक्शन के रूप में बनाया गया था।