رش غاوسي
يمثل Gaussian Splatting مشهدًا ثلاثي الأبعاد على شكل ملايين من النقط الصغيرة الملونة وشبه الشفافة التي يمكن عرضها في الوقت الفعلي.
نظرة عامة
It delivers NeRF-like photorealism while running fast enough for interactive viewing.
الغوص العميق
تم تقديم تقنية 3D Gaussian Splatting في SIGGRAPH 2023، وهي تعيد بناء المشاهد من صور مثل NeRF ولكنها تستخدم تمثيلًا صريحًا بدلاً من الشبكة العصبية المخفية. كل مشهد عبارة عن سحابة من غاوسيات ثلاثية الأبعاد، ونقط إهليلجية غامضة، وكل نقطة تخزن موضعًا وحجمًا واتجاهًا (تباينه)، والعتامة، واللون. بدلاً من إطلاق الأشعة ببطء عبر الشبكة، تقوم الطريقة "بسكب" هذه النقط مباشرة على الشاشة ومزجها، وهي عملية أقرب إلى التنقيط التقليدية وبالتالي فهي سريعة جدًا. يبدأ التدريب من سحابة نقطية متفرقة يتم إنتاجها عن طريق معايرة الكاميرا، ثم يقوم بتحسين النقط مع إضافة التفاصيل بشكل تكيفي حيث يكون المشهد غير مُعاد بناؤه جيدًا وتشذيبه حيث يكون مكتظًا بالسكان. والنتيجة هي عرض في الوقت الفعلي بدقة 1080 بكسل بجودة تنافس أفضل NeRFs، ولهذا السبب انتشرت بسرعة من خلال أدوات الرسومات والالتقاط.
البصيرة الفنية
المفتاح هو أداة تنقيط قابلة للتمييز تعتمد على البلاط. يتم عرض Gaussians ثلاثي الأبعاد على شكل ثنائي الأبعاد، ويتم فرزه حسب العمق، ويتم مزج ألفا لكل مربع من الشاشة، لذا فإن العرض يتجنب مسيرة الشعاع لكل بكسل مما يجعل NeRF بطيئًا. يتم تخزين اللون بتوافقيات كروية، مما يسمح لكل نقطة بتغيير مظهرها بزاوية عرض لالتقاط الانعكاسات. نظرًا لأن خط الأنابيب بأكمله قابل للتمييز، فإن نفس نزول التدرج المطابق للصور الذي يستخدمه NeRF يعمل على تحسين مواضع النقطة والأشكال والعتامة والألوان، في حين تعمل خطوة التكثيف على زيادة أو تقسيم Gaussians لإضافة التفاصيل المفقودة.
التأثير الاستراتيجي
السرعة والحجم
يمكن للذكاء الاصطناعي المرئي أتمتة مهام الفحص والكشف ووضع العلامات على نطاق واسع.
خيارات البناء
يمكن للفرق الإبداعية إنشاء نماذج أولية للمفاهيم بشكل أسرع مع عدد أقل من المراجعات اليدوية.
الفريق وسير العمل
يمكن أن تستخدم العمليات إشارات الصور والفيديو التي كان من الصعب معالجتها في السابق.
مستقبل الرش الغاوسي
يتحرك Gaussian Splatting بسرعة من البحث إلى منتجات الالتقاط ثلاثي الأبعاد ورسم الخرائط والإنتاج الافتراضي، ويرجع ذلك جزئيًا إلى أنه يتم عرضه في الوقت الفعلي على وحدات معالجة الرسومات الاستهلاكية وحتى المتصفحات. يستهدف العمل النشط تقليص أحجام الملفات (يمكن أن تكون المشاهد كبيرة)، والتعامل مع المشاهد الديناميكية والمتحركة، وإعادة الإضاءة، وتحرير الكائنات الفردية. توقع تكاملًا أكثر إحكامًا مع محركات الألعاب والواقع المعزز/الواقع الافتراضي، والأساليب الهجينة التي تجمع بين البقع والشبكات والتقاط الفيديو من الهاتف. يُنظر إليه بشكل متزايد على أنه مكمل عملي أو بديل لـ NeRF حيثما تكون السرعة التفاعلية مهمة.
التنفيذ في العالم الحقيقي
إنشاء لقطات ثلاثية الأبعاد قابلة للاستكشاف في الوقت الفعلي للغرف أو المنتجات للويب
الإنتاج الافتراضي وتصور الأفلام مسبقًا باستخدام مجموعات صور واقعية وقابلة للملاحة
مسح سريع ثلاثي الأبعاد للأشياء والبيئات من هاتف أو فيديو بدون طيار
إنشاء مشاهد AR/VR تفاعلية تعمل بسلاسة على الأجهزة الاستهلاكية
المخاطر والدرابزين
يمكن أن تصبح حقوق الصور والموافقة مخاطر قانونية إذا كان المصدر غير واضح.
يمكن أن يختلف أداء النموذج عبر الإضاءة والتركيبة السكانية والبيئات.
قد تمر الإيجابيات الكاذبة دون أن يلاحظها أحد ما لم تتم مراقبة عتبات الثقة.
خارطة طريق التنفيذ
تحديد معايير القبول لتكاليف الدقة والاستدعاء والخطأ.
اختبار مع البيانات التي تتوافق مع ظروف الإنتاج الحقيقية.
أضف مراجعة بشرية للتنبؤات منخفضة الثقة أو عالية التأثير.
تتبع انحراف النموذج وإعادة التحقق من صحته بعد تغيير الكاميرا أو مجموعة البيانات.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Gaussian Splatting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
العمليات الغوسية
الأسئلة المتداولة
What is Gaussian Splatting?
يمثل Gaussian Splatting مشهدًا ثلاثي الأبعاد على شكل ملايين من النقط الصغيرة الملونة وشبه الشفافة التي يمكن عرضها في الوقت الفعلي. إنها توفر صورة واقعية تشبه NeRF أثناء تشغيلها بسرعة كافية للعرض التفاعلي.
كيف يمثل Gaussian Splatting مشهدًا ثلاثي الأبعاد؟
المشهد عبارة عن سحابة واضحة من صور غاوسي ثلاثية الأبعاد، كل منها عبارة عن شكل إهليلجي غامض مع الموضع والشكل والعتامة واللون.
لماذا يعتبر Gaussian Splatting أسرع بكثير في العرض من NeRF الأصلي؟
يؤدي عرض النقط ومزجها عبر التنقيط القائم على البلاط إلى تجنب تحرك شعاع NeRF البطيء لكل بكسل، مما يتيح سرعات في الوقت الفعلي.
ما هي المعلومات التي يخزنها كل 3D Gaussian؟
تحمل كل نقطة موقعًا، وتباينًا مشتركًا (الحجم والاتجاه)، والعتامة، ومعلومات اللون.
ما الذي يستخدم للسماح بتغيير لون النقطة مع زاوية المشاهدة؟
يتم تشفير اللون بتوافقيات كروية، لذلك يمكن أن يظهر كل غاوسي مختلفًا من اتجاهات مختلفة، ويلتقط الانعكاسات.
كيف يبدأ التدريب عادة في Gaussian Splatting؟
يبدأ الأمر بنقاط متفرقة من معايرة هيكل الكاميرا من الحركة، ثم يقوم بتحسين Gaussians من هناك.