Estimasi Kedalaman Difusi Marigold
Marigold menggunakan kembali model difusi pembuatan gambar yang telah dilatih sebelumnya (Difusi Stabil) untuk memprediksi peta kedalaman yang sangat detail.
Ikhtisar
It shows you can turn a generator's rich visual knowledge into a precise perception tool with surprisingly little training data.
Menyelam Lebih Dalam
Marigold (ETH Zurich, CVPR 2024 Best Paper Honorable Mention) mengubah estimasi kedalaman sebagai masalah pembangkitan bersyarat. Daripada melatih jaringan kedalaman dari awal, jaringan ini menyempurnakan Difusi Stabil untuk 'menghasilkan' peta kedalaman yang dikondisikan pada gambar masukan. Kesimpulannya adalah bahwa model yang dilatih untuk mensintesis gambar fotorealistik telah mempelajari geometri pemandangan, pencahayaan, dan struktur jauh di dalam ruang latennya, yang merupakan prior yang berguna untuk kedalaman. Hebatnya, Marigold hanya disempurnakan pada kumpulan data sintetis (seperti Hypersim dan Virtual KITTI) namun dapat digeneralisasi dengan baik ke foto asli tanpa pengambilan gambar. Ini menghasilkan kedalaman relatif affine-invariant dengan detail yang sangat halus, meskipun denoising berulang membuatnya lebih lambat dibandingkan model feed-forward seperti DepthAnything.
Wawasan Teknis
Marigold beroperasi di ruang laten Difusi Stabil. Baik gambar maupun peta kedalaman dikodekan oleh VAE yang sama; U-Net disetel dengan baik untuk menghilangkan kebisingan laten kedalaman yang dikondisikan pada gambar bersih laten. Pada inferensi, ia menjalankan loop denoising berulang standar, lalu mendekode kedalaman laten. Karena ini mengambil sampel, beberapa proses dapat digabungkan untuk stabilitas, memperdagangkan komputasi untuk akurasi. Kemudian 'LCM' dan versi sulingan satu langkah memotong lusinan langkah menjadi satu lintasan.
Dampak Strategis
Kecepatan dan skala
Visual AI dapat mengotomatiskan tugas inspeksi, deteksi, dan penandaan dalam skala besar.
Build choices
Tim kreatif dapat membuat prototipe konsep lebih cepat dengan lebih sedikit revisi manual.
Team and workflow
Pengoperasiannya dapat menggunakan sinyal gambar dan video yang sebelumnya sulit diproses.
Estimasi Kedalaman Difusi Marigold Masa Depan
Resep Marigold, yang menyempurnakan prioritas difusi untuk prediksi padat, melakukan generalisasi melampaui kedalaman hingga normal permukaan, dekomposisi gambar intrinsik, dan estimasi material. Varian model sulingan dan konsistensi yang lebih cepat menutup kesenjangan kecepatan dengan jaringan feed-forward, menjadikan persepsi berbasis difusi dapat diterapkan dalam alat interaktif. Harapkan tren yang lebih luas di mana satu tulang punggung generatif yang telah dilatih sebelumnya disesuaikan dengan banyak tugas geometri dan persepsi, sehingga mengurangi kebutuhan akan kumpulan data berlabel khusus tugas yang besar.
Implementasi Dunia Nyata
Mengekstraksi kedalaman halus dari foto arsitektur dan produk untuk penerangan ulang dan maket 3D.
Menghasilkan peta kedalaman dengan detail tinggi yang digunakan sebagai pengkondisian untuk pembuatan gambar dan video yang dapat dikontrol.
Membantu tim film dan VFX dalam pekerjaan matte dan paralaks yang mengutamakan presisi tepi.
Berfungsi sebagai dasar penelitian yang menunjukkan cara mengadaptasi prior generatif ke tugas prediksi yang padat.
Risiko & Pagar Pembatas
Hak citra dan persetujuan dapat menjadi risiko hukum jika asal usulnya tidak jelas.
Performa model dapat bervariasi berdasarkan pencahayaan, demografi, dan lingkungan.
Positif palsu mungkin tidak diketahui kecuali ambang batas keyakinan dipantau.
Peta Jalan Implementasi
Tentukan kriteria penerimaan untuk biaya presisi, penarikan kembali, dan kesalahan.
Uji dengan data yang sesuai dengan kondisi produksi sebenarnya.
Tambahkan tinjauan manusia untuk prediksi dengan tingkat keyakinan rendah atau dampak tinggi.
Lacak penyimpangan model dan validasi ulang setelah kamera atau kumpulan data berubah.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Marigold Diffusion Depth Estimation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Estimasi Kedalaman Monokuler
Pertanyaan yang sering diajukan
What is Marigold Diffusion Depth Estimation?
Marigold menggunakan kembali model difusi pembuatan gambar yang telah dilatih sebelumnya (Difusi Stabil) untuk memprediksi peta kedalaman yang sangat detail. Hal ini menunjukkan bahwa Anda dapat mengubah pengetahuan visual generator yang kaya menjadi alat persepsi yang tepat dengan data pelatihan yang sangat sedikit.
Model terlatih apa yang dibuat oleh Marigold?
Marigold menyempurnakan model difusi laten Difusi Stabil untuk menghasilkan peta kedalaman.
Bagaimana Marigold menyusun tugas estimasi kedalaman?
Ia memperlakukan kedalaman sebagai sesuatu yang 'dihasilkan' yang dikondisikan pada gambar masukan, menggunakan kembali mesin difusi.
Apa yang mengejutkan tentang data pelatihan Marigold?
Marigold telah disempurnakan pada data sintetis seperti Hypersim dan Virtual KITTI, tetapi menggeneralisasi zero-shot ke foto nyata.
Mengapa Marigold biasanya lebih lambat dibandingkan model kedalaman feed-forward?
Model difusi melakukan denoise dalam beberapa langkah, membuat inferensi lebih lambat dibandingkan dengan satu forward pass.
Di ruang manakah Marigold melakukan proses difusinya?
Baik gambar maupun kedalaman dikodekan ke dalam ruang laten VAE tempat U-Net melaporkan.