विज़ुअल एआई गाइड

प्लेनॉक्सेल्स और वोक्सेल रेडियंस फील्ड्स

प्लेनोक्सल्स ने दिखाया कि आप बिना किसी तंत्रिका नेटवर्क के एनईआरएफ-गुणवत्ता वाले परिणामों के साथ एक 3 डी दृश्य का पुनर्निर्माण कर सकते हैं - केवल रंग और घनत्व को संग्रहीत करने वाले स्वरों का एक ग्रिड।

2 मिनट लालअंतिम बार अद्यतन किया गया

सिंहावलोकन

The result trains roughly 100x faster than the original NeRF while matching its visual quality.

गहरा गोता

एनईआरएफ फोटोरियलिज्म प्राप्त करता है लेकिन धीमा है क्योंकि प्रत्येक नमूने को एक गहरे तंत्रिका नेटवर्क के माध्यम से आगे बढ़ने की आवश्यकता होती है, और प्रशिक्षण में घंटों या दिन लग सकते हैं। प्लेनोक्सेल्स (सारा फ्रिडोविच-कील, एलेक्स यू एट अल., 2022) ने एक उत्तेजक प्रश्न पूछा: क्या नेटवर्क भी आवश्यक है? उनका जवाब था नहीं. वे दृश्य को एक विरल 3D स्वर ग्रिड के रूप में प्रस्तुत करते हैं। प्रत्येक व्याप्त स्वर एक एकल अपारदर्शिता मान और गोलाकार हार्मोनिक गुणांक संग्रहीत करता है जो दृश्य-निर्भर रंग को एन्कोड करता है। एक पिक्सेल को रेंडर करने के लिए, सिस्टम इन मानों को किरण के साथ त्रिरेखीय रूप से प्रक्षेपित करता है और उन्हें मानक वॉल्यूम रेंडरिंग के साथ मिश्रित करता है। क्योंकि कोई नेटवर्क नहीं है, पूरी चीज़ को सीधे स्वर मूल्यों पर ग्रेडिएंट डिसेंट के साथ अनुकूलित किया जाता है, सुचारूता के लिए नियमित किया जाता है। शीर्षक परिणाम: एनईआरएफ से तुलनीय गुणवत्ता, एक ही जीपीयू पर मिनटों में प्रशिक्षित।

तकनीकी अंतर्दृष्टि

दृश्य-निर्भर रंग चतुर हिस्सा है। प्रति व्यूइंग एंगल आरजीबी आउटपुट करने वाले नेटवर्क के बजाय, प्रत्येक वोक्सेल प्रति रंग चैनल गोलाकार हार्मोनिक (एसएच) गुणांक का एक छोटा सेट संग्रहीत करता है। किरण की दिशा में एसएच आधार का मूल्यांकन यह बताता है कि दृष्टिकोण के साथ उस बिंदु का रंग कैसे बदलता है - स्पेक्युलर हाइलाइट्स और प्रतिबिंबों को कैप्चर करना। अपारदर्शिता दिशा-स्वतंत्र है. विभेदित ट्रिलिनियर इंटरपोलेशन प्लस वॉल्यूम रेंडरिंग प्रत्येक स्वर मान को सीधे प्रशिक्षित करने योग्य बनाता है, इसलिए अनुकूलन एक सीधा, नेटवर्क-मुक्त न्यूनतम-वर्ग-शैली फिट है।

सामरिक प्रभाव

गति और पैमाना

विज़ुअल एआई बड़े पैमाने पर निरीक्षण, पता लगाने और टैगिंग कार्यों को स्वचालित कर सकता है।

विकल्प बनाएं

रचनात्मक टीमें कम मैन्युअल संशोधनों के साथ तेजी से अवधारणाओं का प्रोटोटाइप बना सकती हैं।

टीम और वर्कफ़्लो

संचालन छवि और वीडियो संकेतों का उपयोग कर सकते हैं जिन्हें संसाधित करना पहले कठिन था।

प्लेनोक्सल्स और वोक्सेल रेडियंस फील्ड्स का भविष्य

प्लेनॉक्सेल्स ने साबित किया कि प्रतिनिधित्व, तंत्रिका नेटवर्क नहीं, एनईआरएफ की गुणवत्ता को संचालित करता है - एक खोज जिसने क्षेत्र को नया आकार दिया। इसने सीधे तौर पर इंस्टेंट-एनजीपी के हैश ग्रिड और अंततः 3डी गॉसियन स्प्लैटिंग जैसे स्पष्ट और हाइब्रिड तरीकों को प्रेरित किया, जो अब वास्तविक समय की चमक प्रतिपादन पर हावी है। स्पष्ट, जीपीयू-अनुकूल प्राइमेटिव्स की ओर निरंतर आंदोलन की अपेक्षा करें जो सेकंड में प्रशिक्षित होते हैं और वास्तविक समय में प्रस्तुत करते हैं, जिसमें तंत्रिका नेटवर्क मुख्य दृश्य स्टोर के बजाय चुनिंदा रूप से उपयोग किए जाते हैं।

वास्तविक विश्व कार्यान्वयन

ई-कॉमर्स या संग्रहालय डिजिटलीकरण के लिए घंटों इंतजार करने के बजाय, किसी कैप्चर की गई वस्तु को मिनटों में 3डी संपत्ति में त्वरित रूप से पुनर्निर्माण करना।

अनुसंधान और शिक्षा के लिए एकल उपभोक्ता जीपीयू पर उपन्यास-दृश्य संश्लेषण का तेजी से प्रोटोटाइप।

अपारदर्शी नेटवर्क वेट के विपरीत, संपादन योग्य, स्पष्ट स्वर दृश्य तैयार करना, जिनका कलाकार सीधे निरीक्षण और काट-छांट कर सकते हैं।

एक शिक्षण उदाहरण के रूप में कार्य करते हुए कि दृश्य प्रतिनिधित्व, न कि गहन शिक्षा, जो फोटोयथार्थवादी परिणाम उत्पन्न करता है।

जोखिम और रेलिंग

यदि उत्पत्ति अस्पष्ट है तो छवि अधिकार और सहमति कानूनी जोखिम बन सकते हैं।

मॉडल का प्रदर्शन प्रकाश व्यवस्था, जनसांख्यिकी और वातावरण के अनुसार भिन्न हो सकता है।

जब तक आत्मविश्वास की सीमा की निगरानी नहीं की जाती, तब तक झूठी सकारात्मक बातों पर ध्यान नहीं दिया जा सकता।

कार्यान्वयन रोडमैप

1

सटीकता, रिकॉल और त्रुटि लागत के लिए स्वीकृति मानदंड परिभाषित करें।

2

वास्तविक उत्पादन स्थितियों से मेल खाने वाले डेटा के साथ परीक्षण करें।

3

कम-आत्मविश्वास या उच्च-प्रभाव वाली भविष्यवाणियों के लिए मानवीय समीक्षा जोड़ें।

4

कैमरा या डेटासेट में बदलाव के बाद मॉडल बहाव को ट्रैक करें और पुनः सत्यापित करें।

अन्वेषण करते रहें

Free newsletter

Get the daily AI briefing

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the Plenoxels and Voxel Radiance Fields quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

प्रश्नोत्तरी प्रारंभ करें

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

अक्सर पूछे जाने वाले प्रश्नों

What is Plenoxels and Voxel Radiance Fields?

प्लेनोक्सल्स ने दिखाया कि आप बिना किसी तंत्रिका नेटवर्क के एनईआरएफ-गुणवत्ता वाले परिणामों के साथ एक 3 डी दृश्य का पुनर्निर्माण कर सकते हैं - केवल रंग और घनत्व को संग्रहीत करने वाले स्वरों का एक ग्रिड। परिणाम इसकी दृश्य गुणवत्ता से मेल खाते हुए मूल एनईआरएफ की तुलना में लगभग 100 गुना तेज गति से चलता है।

एनईआरएफ की तुलना में प्लेनॉक्सल्स में सबसे आश्चर्यजनक डिज़ाइन विकल्प क्या है?

प्लेनोक्सेल्स दृश्य को सीधे वोक्सेल ग्रिड में संग्रहीत करता है और उन मानों को अनुकूलित करता है, पाइपलाइन में कोई तंत्रिका नेटवर्क नहीं है।

दृश्य-निर्भर रंग को कैप्चर करने के लिए प्लेनोक्सल्स स्टोर में प्रत्येक कब्जे वाले वोक्सेल क्या करता है?

प्रत्येक स्वर प्रति रंग चैनल में अपारदर्शिता और गोलाकार हार्मोनिक गुणांक रखता है, जो यह दर्शाता है कि देखने की दिशा के साथ रंग कैसे बदलता है।

मूल एनईआरएफ की तुलना में प्लेनोक्सल्स ने लगभग कितनी तेजी से प्रशिक्षण लिया?

प्रति-सैंपल नेटवर्क पास को समाप्त करके, प्लेनोक्सेल्स ने 100 गुना तेजी से प्रशिक्षण प्राप्त किया, जो मिनटों में समाप्त हो गया।

किरण के साथ वॉक्सेल ग्रिड से मान कैसे प्राप्त किए जाते हैं?

प्लेनोक्सल्स स्वर केंद्रों के बीच रंग और अस्पष्टता को सुचारू रूप से पढ़ने के लिए विभेदित ट्रिलिनियर इंटरपोलेशन का उपयोग करता है।

प्लेनोक्सेल्स ने क्षेत्र में कौन सा व्यापक निष्कर्ष प्रदर्शित किया?

बिना किसी नेटवर्क के एनईआरएफ गुणवत्ता का मिलान करके, प्लेनोक्सल्स ने दर्शाया कि प्रतिनिधित्व और अनुकूलन, एमएलपी नहीं, परिणामों के लिए जिम्मेदार थे।