Bidang Cahaya Neural
Neural Radiance Fields (NeRF) merekonstruksi pemandangan 3D penuh dari beberapa foto biasa, memungkinkan Anda mengarahkan kamera ke sudut pandang baru.
Ikhtisar
It reframed 3D capture as training a tiny neural network rather than building a mesh.
Menyelam Lebih Dalam
Diperkenalkan pada tahun 2020 oleh Mildenhall dan rekannya, NeRF menyimpan seluruh adegan di dalam jaringan saraf kecil (perceptron multilayer). Dengan adanya titik 3D dan arah tampilan, jaringan mengeluarkan warna titik tersebut dan seberapa buram titik tersebut. Untuk merender sebuah piksel, NeRF menembakkan sinar ke dalam pemandangan, mengambil sampel di sepanjang piksel tersebut, menanyakan jaringan, dan memadukan hasilnya menggunakan rendering volume. Karena seluruh proses ini dapat dibedakan, jaringan dilatih dengan membandingkan piksel yang dirender dengan foto masukan sebenarnya dan menyesuaikannya hingga cocok. Imbalannya adalah fotorealisme yang menakjubkan, termasuk efek yang bergantung pada tampilan seperti pantulan dan sorotan mengkilap yang berubah seiring Anda bergerak. Kelemahannya adalah setiap adegan memerlukan proses pelatihannya sendiri, dan metode aslinya lambat untuk dilatih dan dirender.
Wawasan Teknis
NeRF mewakili pemandangan sebagai fungsi 5D berkelanjutan: masukkan posisi (x, y, z) ditambah arah tampilan (dua sudut), dan MLP mengembalikan warna RGB dan kepadatan volume. Detail krusialnya adalah pengkodean posisi, yang memetakan koordinat melalui fungsi sinus dan kosinus frekuensi tinggi sehingga jaringan dapat menangkap detail yang tajam alih-alih menghasilkan keluaran yang buram. Rendering mengintegrasikan warna dan kepadatan di sepanjang setiap sinar kamera, memberi bobot lebih dekat, sampel lebih buram, persis seperti matematika rendering volume klasik yang dapat dilatih.
Dampak Strategis
Kecepatan dan skala
Visual AI dapat mengotomatiskan tugas inspeksi, deteksi, dan penandaan dalam skala besar.
Build choices
Tim kreatif dapat membuat prototipe konsep lebih cepat dengan lebih sedikit revisi manual.
Team and workflow
Pengoperasiannya dapat menggunakan sinyal gambar dan video yang sebelumnya sulit diproses.
Masa Depan Bidang Radiance Neural
Penelitian NeRF meledak setelah tahun 2020, dengan tindak lanjut seperti NGP Instan yang memotong pelatihan dari jam ke detik menggunakan pengkodean hash-grid, dan Mip-NeRF yang meningkatkan kualitas di seluruh skala. Bidang ini semakin menyatu atau ditantang oleh Gaussian Splatting, yang menghasilkan lebih cepat. Harapkan teknik yang diturunkan dari NeRF dalam pemetaan, tampilan produk e-commerce, efek visual film, dan AR/VR, ditambah pertumbuhan NeRF dinamis yang menangani adegan bergerak dan pengambilan gambar "di alam liar" dengan pencahayaan yang berubah-ubah. Tema besarnya adalah kecepatan, kemampuan mengedit, dan pengambilan adegan dari foto yang lebih sedikit dan berantakan.
Implementasi Dunia Nyata
Mengubah video ponsel dari suatu objek menjadi tampilan 3D yang dapat Anda orbit untuk belanja online
Merekonstruksi lokasi nyata sebagai latar fotorealistik untuk film dan efek visual
Membangun adegan 3D yang imersif untuk pengalaman virtual dan augmented reality
Melestarikan situs warisan budaya dan artefak secara digital dari kumpulan foto
Risiko & Pagar Pembatas
Hak citra dan persetujuan dapat menjadi risiko hukum jika asal usulnya tidak jelas.
Performa model dapat bervariasi berdasarkan pencahayaan, demografi, dan lingkungan.
Positif palsu mungkin tidak diketahui kecuali ambang batas keyakinan dipantau.
Peta Jalan Implementasi
Tentukan kriteria penerimaan untuk biaya presisi, penarikan kembali, dan kesalahan.
Uji dengan data yang sesuai dengan kondisi produksi sebenarnya.
Tambahkan tinjauan manusia untuk prediksi dengan tingkat keyakinan rendah atau dampak tinggi.
Lacak penyimpangan model dan validasi ulang setelah kamera atau kumpulan data berubah.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Neural Radiance Fields quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Bidang Cahaya Mip-NeRF dan Anti-Alias
Pertanyaan yang sering diajukan
What is Neural Radiance Fields?
Neural Radiance Fields (NeRF) merekonstruksi pemandangan 3D penuh dari beberapa foto biasa, memungkinkan Anda mengarahkan kamera ke sudut pandang baru. Ini membingkai ulang penangkapan 3D sebagai pelatihan jaringan saraf kecil daripada membangun jaringan.
Apa tujuan utama dari Neural Radiance Field?
NeRF membangun representasi 3D dari sekumpulan gambar, memungkinkan rendering fotorealistik dari sudut pandang yang bukan pada foto aslinya.
Apa yang dihasilkan jaringan saraf NeRF untuk masukan tertentu?
Untuk posisi 3D dan arah tampilan, MLP mengembalikan warna dan kepadatan (opasitas) pada titik tersebut.
Apa saja masukan pada fungsi 5D NeRF?
NeRF mengambil lokasi 3D (x, y, z) dan arah tampilan (dua sudut), dengan total lima input.
Bagaimana NeRF mengubah keluaran jaringannya menjadi warna piksel akhir?
Sampel NeRF menunjuk ke setiap sinar dan mengintegrasikan warnanya berdasarkan kepadatan, sehingga persamaan rendering volume klasik dapat dibedakan.
Mengapa NeRF menggunakan pengkodean posisi pada koordinat masukan?
Memetakan koordinat melalui fungsi sinus/kosinus frekuensi tinggi memungkinkan MLP merepresentasikan detail halus, bukan hasil buram.