Percikan Gaussian
Gaussian Splatting mewakili pemandangan 3D sebagai berjuta-juta gumpalan kecil, berwarna, separa lutsinar yang boleh dipaparkan dalam masa nyata.
Gambaran keseluruhan
It delivers NeRF-like photorealism while running fast enough for interactive viewing.
Menyelam dalam
Diperkenalkan pada SIGGRAPH 2023, 3D Gaussian Splatting membina semula pemandangan daripada foto seperti NeRF tetapi menggunakan perwakilan eksplisit dan bukannya rangkaian saraf tersembunyi. Setiap adegan ialah awan Gaussians 3D, gumpalan ellipsoidal kabur, dan setiap gumpalan menyimpan kedudukan, saiz dan orientasi (kovariansnya), kelegapan dan warna. Daripada merakam sinar secara perlahan melalui rangkaian, kaedah "memercik" gumpalan ini terus ke skrin dan menggabungkannya, satu proses yang lebih dekat dengan rasterisasi tradisional dan oleh itu sangat pantas. Latihan bermula dari awan titik jarang yang dihasilkan oleh penentukuran kamera, kemudian mengoptimumkan gumpalan sambil menambah perincian secara adaptif di mana adegan kurang dibina semula dan pemangkasan di mana ia terlalu padat. Hasilnya ialah pemaparan masa nyata pada 1080p dengan kualiti menyaingi NeRF terbaik, itulah sebabnya ia merebak dengan pantas melalui alat grafik dan tangkapan.
Wawasan Teknikal
Kuncinya ialah rasterizer berasaskan jubin yang boleh dibezakan. Gaussians 3D diunjurkan kepada 2D, diisih mengikut kedalaman dan dicampur alfa setiap jubin skrin, jadi pemaparan mengelakkan perarakan sinar per piksel yang menjadikan NeRF perlahan. Warna disimpan dengan harmonik sfera, membenarkan setiap gumpalan menukar rupa dengan sudut tontonan untuk menangkap pantulan. Oleh kerana keseluruhan saluran paip boleh dibezakan, keturunan kecerunan pemadanan foto yang sama yang digunakan oleh NeRF mengoptimumkan kedudukan gumpalan, bentuk, kelegapan dan warna, manakala langkah pemekatan membesar atau membelah Gaussians untuk menambah butiran yang hilang.
Kesan Strategik
Kelajuan dan skala
Visual AI boleh mengautomasikan tugas pemeriksaan, pengesanan dan penandaan pada skala.
Pilihan binaan
Pasukan kreatif boleh membuat prototaip konsep dengan lebih pantas dengan lebih sedikit semakan manual.
Pasukan dan aliran kerja
Operasi boleh menggunakan isyarat imej dan video yang sebelum ini sukar diproses.
Masa Depan Gaussian Splatting
Gaussian Splatting bergerak pantas daripada penyelidikan ke dalam produk untuk tangkapan 3D, pemetaan dan pengeluaran maya, sebahagiannya kerana ia dipaparkan dalam masa nyata pada GPU pengguna dan juga penyemak imbas. Kerja aktif menyasarkan mengecilkan saiz fail (adegan boleh menjadi besar), mengendalikan adegan dinamik dan animasi, menghidupkan semula dan mengedit objek individu. Jangkakan penyepaduan yang lebih ketat dengan enjin permainan dan AR/VR, kaedah hibrid yang menggabungkan percikan dengan jerat dan menangkap daripada video telefon. Ia semakin dilihat sebagai pelengkap praktikal kepada, atau pengganti, NeRF di mana sahaja kelajuan interaktif penting.
Pelaksanaan Dunia Sebenar
Mencipta tangkapan 3D bilik atau produk masa nyata yang boleh diterokai untuk web
Pengeluaran maya dan pravisualisasi filem dengan set fotorealistik yang boleh dilayari
Pengimbasan 3D pantas objek dan persekitaran daripada telefon atau video dron
Membina adegan AR/VR interaktif yang berjalan lancar pada perkakasan pengguna
Risiko & Pengawal
Hak imej dan persetujuan boleh menjadi risiko undang-undang jika asalnya tidak jelas.
Prestasi model boleh berbeza mengikut pencahayaan, demografi dan persekitaran.
Positif palsu mungkin tidak disedari melainkan ambang keyakinan dipantau.
Hala Tuju Pelaksanaan
Tentukan kriteria penerimaan untuk ketepatan, ingatan semula dan kos ralat.
Uji dengan data yang sepadan dengan keadaan pengeluaran sebenar.
Tambahkan semakan manusia untuk ramalan keyakinan rendah atau berimpak tinggi.
Jejaki hanyut model dan sahkan semula selepas perubahan kamera atau set data.
Teruskan Meneroka
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Gaussian Splatting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Panduan seterusnya
Proses Gaussian
Soalan lazim
What is Gaussian Splatting?
Gaussian Splatting mewakili pemandangan 3D sebagai berjuta-juta gumpalan kecil, berwarna, separa lutsinar yang boleh dipaparkan dalam masa nyata. Ia menyampaikan fotorealisme seperti NeRF sambil berjalan cukup pantas untuk tontonan interaktif.
Bagaimanakah Gaussian Splatting mewakili pemandangan 3D?
Pemandangan itu ialah awan eksplisit Gaussians 3D, setiap satu elipsoid kabur dengan kedudukan, bentuk, kelegapan dan warna.
Mengapakah Gaussian Splatting jauh lebih pantas untuk dipaparkan daripada NeRF yang asal?
Mengunjurkan dan mengadun gumpalan melalui rasterisasi berasaskan jubin mengelakkan perarakan sinar setiap piksel NeRF yang perlahan, membolehkan kelajuan masa nyata.
Apakah maklumat yang disimpan oleh setiap Gaussian 3D?
Setiap gumpalan membawa kedudukan, kovarians (saiz dan orientasi), kelegapan dan maklumat warna.
Apakah yang digunakan untuk membiarkan warna gumpalan berubah dengan sudut tontonan?
Warna dikodkan dengan harmonik sfera, jadi setiap Gaussian boleh kelihatan berbeza dari arah yang berbeza, menangkap pantulan.
Bagaimanakah latihan biasanya bermula dalam Gaussian Splatting?
Ia bermula dengan titik jarang daripada penentukuran kamera struktur-dari-gerakan, kemudian mengoptimumkan Gaussians dari sana.