مجالات الإشعاع العصبي
تعمل تقنية Neural Radiance Fields (NeRF) على إعادة بناء مشهد ثلاثي الأبعاد كامل من مجموعة من الصور العادية، مما يسمح لك بالتحليق بالكاميرا إلى وجهات نظر جديدة تمامًا.
نظرة عامة
It reframed 3D capture as training a tiny neural network rather than building a mesh.
الغوص العميق
تم تقديم NeRF في عام 2020 بواسطة ميلدنهال وزملائه، حيث يقوم بتخزين مشهد كامل داخل شبكة عصبية صغيرة (إدراك متعدد الطبقات). بالنظر إلى نقطة ثلاثية الأبعاد واتجاه العرض، تقوم الشبكة بإخراج لون تلك النقطة ومدى تعتيمها. لعرض بكسل، يقوم NeRF بإطلاق شعاع في المشهد، وأخذ عينات من النقاط على طوله، والاستعلام عن الشبكة، ومزج النتائج باستخدام عرض الحجم. نظرًا لأن هذه العملية برمتها قابلة للتمييز، يتم تدريب الشبكة من خلال مقارنة وحدات البكسل المقدمة مع الصور المدخلة الحقيقية وضبطها حتى تتطابق. والنتيجة هي الواقعية المذهلة، بما في ذلك التأثيرات المعتمدة على العرض مثل الانعكاسات والإبرازات اللامعة التي تتغير أثناء تحركك. تتمثل الجوانب السلبية في أن كل مشهد يحتاج إلى تدريب خاص به، وكانت الطريقة الأصلية بطيئة في التدريب والعرض.
البصيرة الفنية
يمثل NeRF مشهدًا كوظيفة 5D مستمرة: أدخل الموضع (x، y، z) بالإضافة إلى اتجاه العرض (زاويتين)، ويقوم MLP بإرجاع لون RGB وكثافة الصوت. أحد التفاصيل الحاسمة هو التشفير الموضعي، الذي يقوم بتعيين الإحداثيات من خلال وظائف جيب التمام وجيب التمام عالية التردد حتى تتمكن الشبكة من التقاط تفاصيل دقيقة بدلاً من إنتاج مخرجات ضبابية. يدمج العرض اللون والكثافة على طول كل شعاع كاميرا، مما يؤدي إلى ترجيح العينات الأقرب والأكثر عتامة بشكل أكبر، تمامًا مثل رياضيات عرض الحجم الكلاسيكي التي أصبحت قابلة للتدريب.
التأثير الاستراتيجي
السرعة والحجم
يمكن للذكاء الاصطناعي المرئي أتمتة مهام الفحص والكشف ووضع العلامات على نطاق واسع.
خيارات البناء
يمكن للفرق الإبداعية إنشاء نماذج أولية للمفاهيم بشكل أسرع مع عدد أقل من المراجعات اليدوية.
الفريق وسير العمل
يمكن أن تستخدم العمليات إشارات الصور والفيديو التي كان من الصعب معالجتها في السابق.
مستقبل مجالات الإشعاع العصبي
انفجرت أبحاث NeRF بعد عام 2020، مع عمليات متابعة مثل Instant-NGP التي قطعت التدريب من ساعات إلى ثوانٍ باستخدام تشفيرات شبكة التجزئة، وMip-NeRF لتحسين الجودة عبر المقاييس. يدمج المجال بشكل متزايد مع Gaussian Splatting أو يتم تحديه، والذي يتم عرضه بشكل أسرع. توقع استخدام تقنيات مشتقة من NeRF في رسم الخرائط وعرض منتجات التجارة الإلكترونية والمؤثرات المرئية للأفلام والواقع المعزز/الواقع الافتراضي، بالإضافة إلى النمو في NeRFs الديناميكية التي تتعامل مع المشاهد المتحركة واللقطات "في البرية" مع الإضاءة المتغيرة. المواضيع الكبيرة هي السرعة وإمكانية التحرير والتقاط المشاهد من صور أقل وأكثر فوضوية.
التنفيذ في العالم الحقيقي
تحويل مقطع فيديو على الهاتف لكائن ما إلى عرض ثلاثي الأبعاد يمكنك تدويره للتسوق عبر الإنترنت
إعادة بناء المواقع الحقيقية كخلفيات واقعية للأفلام والمؤثرات البصرية
إنشاء مشاهد ثلاثية الأبعاد غامرة لتجارب الواقع الافتراضي والمعزز
الحفاظ رقمياً على مواقع التراث الثقافي والتحف من مجموعات الصور
المخاطر والدرابزين
يمكن أن تصبح حقوق الصور والموافقة مخاطر قانونية إذا كان المصدر غير واضح.
يمكن أن يختلف أداء النموذج عبر الإضاءة والتركيبة السكانية والبيئات.
قد تمر الإيجابيات الكاذبة دون أن يلاحظها أحد ما لم تتم مراقبة عتبات الثقة.
خارطة طريق التنفيذ
تحديد معايير القبول لتكاليف الدقة والاستدعاء والخطأ.
اختبار مع البيانات التي تتوافق مع ظروف الإنتاج الحقيقية.
أضف مراجعة بشرية للتنبؤات منخفضة الثقة أو عالية التأثير.
تتبع انحراف النموذج وإعادة التحقق من صحته بعد تغيير الكاميرا أو مجموعة البيانات.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Neural Radiance Fields quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
Mip-NeRF ومجالات التألق المضادة للتعرج
الأسئلة المتداولة
What is Neural Radiance Fields?
تعمل تقنية Neural Radiance Fields (NeRF) على إعادة بناء مشهد ثلاثي الأبعاد كامل من مجموعة من الصور العادية، مما يسمح لك بالتحليق بالكاميرا إلى وجهات نظر جديدة تمامًا. لقد أعادت صياغة الالتقاط ثلاثي الأبعاد لتدريب شبكة عصبية صغيرة بدلاً من بناء شبكة.
ما هو الهدف الرئيسي لمجال الإشعاع العصبي؟
تقوم NeRF بإنشاء تمثيل ثلاثي الأبعاد من مجموعة من الصور، مما يتيح عرضًا واقعيًا من وجهات نظر غير موجودة في الصور الأصلية.
ما الذي تنتجه الشبكة العصبية NeRF لمدخل معين؟
للحصول على موضع ثلاثي الأبعاد واتجاه العرض، يقوم MLP بإرجاع اللون والكثافة (التعتيم) عند تلك النقطة.
ما هي المدخلات لوظيفة NeRF 5D؟
يأخذ NeRF موقعًا ثلاثي الأبعاد (x، y، z) واتجاه عرض (زاويتين)، بإجمالي خمسة مدخلات.
كيف تقوم NeRF بتحويل مخرجات شبكتها إلى لون بكسل نهائي؟
يقوم NeRF بأخذ عينات من النقاط على طول كل شعاع ويدمج لونها الموزون بالكثافة، مما جعل معادلة تجسيد الحجم الكلاسيكية قابلة للتمييز.
لماذا يستخدم NeRF التشفير الموضعي في إحداثيات الإدخال؟
يتيح تعيين الإحداثيات من خلال وظائف جيب التمام/جيب التمام عالية التردد لـ MLP تمثيل التفاصيل الدقيقة بدلاً من النتائج الباهتة.