تشفير التجزئة الفوري NGP
Instant-NGP هي تقنية NVIDIA التي تدرب حقول الإشعاع العصبي وغيرها من أساسيات الرسومات العصبية في ثوانٍ بدلاً من ساعات عن طريق تخزين الميزات القابلة للتعلم في جدول تجزئة متعدد الدقة.
نظرة عامة
It matters because it made high-quality 3D scene capture fast enough to feel almost interactive.
الغوص العميق
تهاجم أساسيات الرسومات العصبية الفورية (NVIDIA, 2022) عنق الزجاجة الرئيسي لـ NeRFs: MLP الكبير الذي يجب الاستعلام عنه ملايين المرات. بدلاً من تشفير موضع ثلاثي الأبعاد بميزات جيبية ثابتة والاعتماد على شبكة كبيرة، يستخدم Instant-NGP ترميز تجزئة متعدد الدقة. يتم تغطية الفضاء بواسطة عدة شبكات بدقة مختلفة؛ يتم تعيين كل خلية شبكية، عبر دالة التجزئة المكانية، في جدول مضغوط من ناقلات الميزات القابلة للتعلم. لتشفير نقطة ما، يبحث النظام عن الميزات من كل مستوى دقة ويقوم باستيفاءها ثلاثي الخطوط، ويسلسلها، ويغذيها في MLP صغير. نظرًا لأن معظم التمثيل الذي تم تعلمه موجود في جداول البحث ولم يبق سوى شبكة صغيرة، فإن التدريب والعرض يصبحان أسرع من حيث الحجم، وغالبًا ما يحولان الساعات إلى ثوانٍ.
البصيرة الفنية
الجزء الذكي هو السماح بحدوث تصادمات التجزئة عن قصد. يحتوي جدول التجزئة على حجم ثابت، بحيث يمكن تعيين خلايا شبكة متعددة لنفس الإدخال؛ يتعلم MLP الصغير ونسب التدرج إزالة الغموض عن الاصطدامات لأن المناطق المهمة عالية الكثافة تنتج تدرجات أقوى وتفوز بشكل فعال بالفتحات المشتركة. تعني مستويات الدقة المتعددة أن المستويات الخشنة خالية من التصادمات بينما تشارك المستويات الدقيقة الإدخالات، مما يؤدي إلى موازنة التفاصيل مع الذاكرة.
التأثير الاستراتيجي
السرعة والحجم
يمكن للذكاء الاصطناعي المرئي أتمتة مهام الفحص والكشف ووضع العلامات على نطاق واسع.
خيارات البناء
يمكن للفرق الإبداعية إنشاء نماذج أولية للمفاهيم بشكل أسرع مع عدد أقل من المراجعات اليدوية.
الفريق وسير العمل
يمكن أن تستخدم العمليات إشارات الصور والفيديو التي كان من الصعب معالجتها في السابق.
مستقبل ترميز التجزئة الفوري NGP
لقد أصبح ترميز Hash-grid لبنة بناء افتراضية تتجاوز بكثير العرض التجريبي الأصلي لـ NeRF، والمستخدم في تركيب العرض في الوقت الفعلي، وتركيب صور SDF و gigapixel، والمحاكاة، وكعمود فقري لمجموعات الأدوات مثل Nerfstudio. بينما يتنافس Gaussian Splatting الآن على سرعة العرض الخام، تظل ترميزات التجزئة مركزية حيث تكون هناك حاجة إلى حقول عصبية مدمجة وسلسة وقابلة للاستعلام، ويمزج العمل المستمر بين الاثنين ويدفع نحو مشاهد أكبر وديناميكية وقابلة للبث.
التنفيذ في العالم الحقيقي
التقاط كائن أو غرفة حقيقية في NeRF في ثوانٍ من مجموعة صور الهاتف
تركيب وظيفة مسافة موقعة عصبية لتمثيل سريع للأشكال ثلاثية الأبعاد
ضغط وتمثيل صورة جيجابكسل كمجال عصبي مستمر
تعزيز إعادة بناء المشهد السريع داخل مجموعات أدوات البحث والتصور المسبق للمؤثرات البصرية
المخاطر والدرابزين
يمكن أن تصبح حقوق الصور والموافقة مخاطر قانونية إذا كان المصدر غير واضح.
يمكن أن يختلف أداء النموذج عبر الإضاءة والتركيبة السكانية والبيئات.
قد تمر الإيجابيات الكاذبة دون أن يلاحظها أحد ما لم تتم مراقبة عتبات الثقة.
خارطة طريق التنفيذ
تحديد معايير القبول لتكاليف الدقة والاستدعاء والخطأ.
اختبار مع البيانات التي تتوافق مع ظروف الإنتاج الحقيقية.
أضف مراجعة بشرية للتنبؤات منخفضة الثقة أو عالية التأثير.
تتبع انحراف النموذج وإعادة التحقق من صحته بعد تغيير الكاميرا أو مجموعة البيانات.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Instant-NGP Hash Encoding quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
تشفير زوج البايت
الأسئلة المتداولة
What is Instant-NGP Hash Encoding?
Instant-NGP هي تقنية NVIDIA التي تدرب حقول الإشعاع العصبي وغيرها من أساسيات الرسومات العصبية في ثوانٍ بدلاً من ساعات عن طريق تخزين الميزات القابلة للتعلم في جدول تجزئة متعدد الدقة. إنه أمر مهم لأنه يجعل التقاط المشهد ثلاثي الأبعاد عالي الجودة سريعًا بما يكفي ليشعر بأنه تفاعلي تقريبًا.
ما هو عنق الزجاجة الرئيسي في NeRFs الكلاسيكية التي تستهدفها Instant-NGP؟
تعتمد NeRFs الكلاسيكية على MLP كبير يتم الاستعلام عنه بشكل كبير في كثير من الأحيان؛ تقلصات Instant-NGP التي تعمل على تسريع التدريب والعرض.
أين يقوم Instant-NGP بتخزين معظم معلماته القابلة للتعلم؟
توجد الميزات القابلة للتعلم في جداول التجزئة متعددة الدقة، مما يترك فقط MLP صغيرًا للجمع بين الميزات التي تم البحث عنها.
كيف يتم دمج الميزات عبر مستويات الدقة المتعددة؟
يتم تحريف ميزات كل مستوى وتسلسلها بشكل ثلاثي قبل تمريرها إلى MLP الصغير.
كيف يتعامل Instant-NGP مع تصادمات التجزئة في جداول الدقة الدقيقة الخاصة به؟
الاصطدامات مسموح بها. تنتج المناطق عالية الكثافة تدرجات أقوى بحيث يتعلم MLP الصغير والتحسين كيفية حل الفتحات المشتركة.
ما مدى تسريع Instant-NGP تقريبًا لتدريب NeRF؟
من خلال نقل التمثيل إلى جداول التجزئة وتقليص MLP، يمكن أن ينتهي التدريب الذي يستغرق ساعات في ثوانٍ.