Percikan Gaussian
Gaussian Splatting mewakili pemandangan 3D sebagai jutaan gumpalan kecil berwarna semi-transparan yang dapat ditampilkan secara real time.
Ikhtisar
It delivers NeRF-like photorealism while running fast enough for interactive viewing.
Menyelam Lebih Dalam
Diperkenalkan pada SIGGRAPH 2023, 3D Gaussian Splatting merekonstruksi pemandangan dari foto seperti NeRF tetapi menggunakan representasi eksplisit, bukan jaringan saraf tersembunyi. Setiap adegan adalah awan Gaussian 3D, gumpalan ellipsoidal kabur, dan setiap gumpalan menyimpan posisi, ukuran dan orientasi (kovariansnya), opacity, dan warna. Alih-alih menembakkan sinar secara perlahan melalui jaringan, metode ini "mencipratkan" gumpalan ini langsung ke layar dan memadukannya, sebuah proses yang mirip dengan rasterisasi tradisional dan karenanya sangat cepat. Pelatihan dimulai dari titik awan jarang yang dihasilkan oleh kalibrasi kamera, lalu mengoptimalkan blob sambil menambahkan detail secara adaptif jika pemandangan kurang direkonstruksi dan memangkas jika terlalu banyak penduduknya. Hasilnya adalah rendering real-time pada 1080p dengan kualitas yang menyaingi NeRF terbaik, itulah sebabnya ia menyebar dengan cepat melalui alat grafis dan pengambilan gambar.
Wawasan Teknis
Kuncinya adalah rasterizer berbasis ubin yang dapat dibedakan. Gaussians 3D diproyeksikan ke 2D, diurutkan berdasarkan kedalaman, dan dicampur alfa per ubin layar, sehingga rendering menghindari pergerakan sinar per piksel yang membuat NeRF lambat. Warna disimpan dengan harmonik bola, membiarkan setiap gumpalan mengubah tampilan dengan sudut pandang untuk menangkap pantulan. Karena keseluruhan pipeline dapat dibedakan, penurunan gradien pencocokan foto yang sama yang digunakan oleh NeRF mengoptimalkan posisi, bentuk, kekeruhan, dan warna gumpalan, sementara langkah pemadatan menumbuhkan atau memisahkan Gaussian untuk menambahkan detail yang hilang.
Dampak Strategis
Kecepatan dan skala
Visual AI dapat mengotomatiskan tugas inspeksi, deteksi, dan penandaan dalam skala besar.
Build choices
Tim kreatif dapat membuat prototipe konsep lebih cepat dengan lebih sedikit revisi manual.
Team and workflow
Pengoperasiannya dapat menggunakan sinyal gambar dan video yang sebelumnya sulit diproses.
Masa Depan Gaussian Splatting
Gaussian Splatting berkembang pesat dari penelitian produk untuk pengambilan gambar 3D, pemetaan, dan produksi virtual, sebagian karena produk tersebut dirender secara real-time pada GPU konsumen dan bahkan browser. Pekerjaan aktif menargetkan pengurangan ukuran file (adegan bisa besar), menangani adegan dinamis dan animasi, menyalakan kembali, dan mengedit objek individual. Harapkan integrasi yang lebih erat dengan mesin game dan AR/VR, metode hybrid yang menggabungkan percikan dengan jerat, dan pengambilan video dari ponsel. Hal ini semakin dilihat sebagai pelengkap praktis, atau pengganti, NeRF di mana pun kecepatan interaktif penting.
Implementasi Dunia Nyata
Membuat tangkapan ruangan atau produk 3D secara real-time dan dapat dijelajahi untuk web
Produksi virtual dan pravisualisasi film dengan set fotorealistik dan dapat dinavigasi
Pemindaian 3D cepat terhadap objek dan lingkungan dari ponsel atau video drone
Membangun adegan AR/VR interaktif yang berjalan lancar di perangkat keras konsumen
Risiko & Pagar Pembatas
Hak citra dan persetujuan dapat menjadi risiko hukum jika asal usulnya tidak jelas.
Performa model dapat bervariasi berdasarkan pencahayaan, demografi, dan lingkungan.
Positif palsu mungkin tidak diketahui kecuali ambang batas keyakinan dipantau.
Peta Jalan Implementasi
Tentukan kriteria penerimaan untuk biaya presisi, penarikan kembali, dan kesalahan.
Uji dengan data yang sesuai dengan kondisi produksi sebenarnya.
Tambahkan tinjauan manusia untuk prediksi dengan tingkat keyakinan rendah atau dampak tinggi.
Lacak penyimpangan model dan validasi ulang setelah kamera atau kumpulan data berubah.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Gaussian Splatting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Proses Gaussian
Pertanyaan yang sering diajukan
What is Gaussian Splatting?
Gaussian Splatting mewakili pemandangan 3D sebagai jutaan gumpalan kecil berwarna semi-transparan yang dapat ditampilkan secara real time. Ini menghadirkan fotorealisme seperti NeRF sambil berjalan cukup cepat untuk tampilan interaktif.
Bagaimana Gaussian Splatting merepresentasikan adegan 3D?
Adegan tersebut merupakan awan eksplisit Gaussian 3D, masing-masing berupa ellipsoid kabur dengan posisi, bentuk, opasitas, dan warna.
Mengapa Gaussian Splatting lebih cepat dirender dibandingkan NeRF asli?
Memproyeksikan dan memadukan gumpalan melalui rasterisasi berbasis petak menghindari pergerakan sinar per piksel NeRF yang lambat, sehingga memungkinkan kecepatan waktu nyata.
Informasi apa yang disimpan setiap 3D Gaussian?
Setiap gumpalan membawa posisi, kovarians (ukuran dan orientasi), opasitas, dan informasi warna.
Apa yang digunakan agar warna gumpalan berubah seiring sudut pandang?
Warna dikodekan dengan harmonik bola, sehingga setiap Gaussian dapat tampak berbeda dari arah yang berbeda, menangkap pantulan.
Bagaimana pelatihan biasanya dimulai di Gaussian Splatting?
Ini dimulai dengan titik-titik renggang dari kalibrasi struktur-dari-gerak kamera, lalu mengoptimalkan Gaussian dari sana.