SelanjutnyaPanduan berikutnya
Estimasi Kedalaman Monokuler
AI visual
PANDUAN AI Visual
Estimasi Kedalaman Difusi Marigold
Marigold menggunakan kembali model difusi pembuatan gambar yang telah dilatih sebelumnya (Difusi Stabil) untuk memprediksi peta kedalaman yang sangat detail.
Dengarkan panduan iniDiceritakan oleh AI · ~2 min
Di halaman ini2 menit membaca
Ikhtisar
It shows you can turn a generator's rich visual knowledge into a precise perception tool with surprisingly little training data.
Menyelam Lebih Dalam
Marigold (ETH Zurich, CVPR 2024 Best Paper Honorable Mention) mengubah estimasi kedalaman sebagai masalah pembangkitan bersyarat. Daripada melatih jaringan kedalaman dari awal, jaringan ini menyempurnakan Difusi Stabil untuk 'menghasilkan' peta kedalaman yang dikondisikan pada gambar masukan. Kesimpulannya adalah bahwa model yang dilatih untuk mensintesis gambar fotorealistik telah mempelajari geometri pemandangan, pencahayaan, dan struktur jauh di dalam ruang latennya, yang merupakan prior yang berguna untuk kedalaman. Hebatnya, Marigold hanya disempurnakan pada kumpulan data sintetis (seperti Hypersim dan Virtual KITTI) namun dapat digeneralisasi dengan baik ke foto asli tanpa pengambilan gambar. Ini menghasilkan kedalaman relatif affine-invariant dengan detail yang sangat halus, meskipun denoising berulang membuatnya lebih lambat dibandingkan model feed-forward seperti DepthAnything.
Implementasi Dunia Nyata
Mengekstraksi kedalaman halus dari foto arsitektur dan produk untuk penerangan ulang dan maket 3D.
Menghasilkan peta kedalaman dengan detail tinggi yang digunakan sebagai pengkondisian untuk pembuatan gambar dan video yang dapat dikontrol.
Membantu tim film dan VFX dalam pekerjaan matte dan paralaks yang mengutamakan presisi tepi.
Berfungsi sebagai dasar penelitian yang menunjukkan cara mengadaptasi prior generatif ke tugas prediksi yang padat.
Estimasi Kedalaman Difusi Marigold Masa Depan
Resep Marigold, yang menyempurnakan prioritas difusi untuk prediksi padat, melakukan generalisasi melampaui kedalaman hingga normal permukaan, dekomposisi gambar intrinsik, dan estimasi material. Varian model sulingan dan konsistensi yang lebih cepat menutup kesenjangan kecepatan dengan jaringan feed-forward, menjadikan persepsi berbasis difusi dapat diterapkan dalam alat interaktif. Harapkan tren yang lebih luas di mana satu tulang punggung generatif yang telah dilatih sebelumnya disesuaikan dengan banyak tugas geometri dan persepsi, sehingga mengurangi kebutuhan akan kumpulan data berlabel khusus tugas yang besar.
Mempraktikkannya
Mengapa itu penting
- Kecepatan dan skala. Visual AI dapat mengotomatiskan tugas inspeksi, deteksi, dan penandaan dalam skala besar.
- Pilihan Build. Tim kreatif dapat membuat prototipe konsep lebih cepat dengan lebih sedikit revisi manual.
- Tim dan alur kerja. Pengoperasiannya dapat menggunakan sinyal gambar dan video yang sebelumnya sulit diproses.
Hati-hati
- Hak citra dan persetujuan dapat menjadi risiko hukum jika asal usulnya tidak jelas.
- Performa model dapat bervariasi berdasarkan pencahayaan, demografi, dan lingkungan.
- Positif palsu mungkin tidak diketahui kecuali ambang batas keyakinan dipantau.
Langkah selanjutnya
- Tentukan kriteria penerimaan untuk biaya presisi, penarikan kembali, dan kesalahan.
- Uji dengan data yang sesuai dengan kondisi produksi sebenarnya.
- Tambahkan tinjauan manusia untuk prediksi dengan tingkat keyakinan rendah atau dampak tinggi.
- Lacak penyimpangan model dan validasi ulang setelah kamera atau kumpulan data berubah.
Terus Menjelajah
Buletin gratis
Dapatkan pengarahan AI harian
Tiga cerita AI terverifikasi setiap pagi hari kerja, ditulis dalam bahasa Inggris sederhana. Gratis selamanya, tanpa iklan.
Satu email setiap hari kerja. Berhenti berlangganan dalam satu klik. Kami tidak pernah menjual atau membagikan alamat Anda.
Uji diri Anda sendiri
Take the Marigold Diffusion Depth Estimation quiz
Umpan balik instan untuk setiap jawaban, dan sertifikat yang dapat dibagikan dengan ID yang dapat diverifikasi setelah Anda lulus kursus.
Mendukung pendidikan AI gratis. AI Understanding adalah organisasi nirlaba 501(c)(3) — tanpa iklan, tanpa paywall, selamanya. Berikan sumbangan
Pertanyaan yang sering diajukan
What is Marigold Diffusion Depth Estimation?
Marigold menggunakan kembali model difusi pembuatan gambar yang telah dilatih sebelumnya (Difusi Stabil) untuk memprediksi peta kedalaman yang sangat detail. Hal ini menunjukkan bahwa Anda dapat mengubah pengetahuan visual generator yang kaya menjadi alat persepsi yang tepat dengan data pelatihan yang sangat sedikit.
Model terlatih apa yang dibuat oleh Marigold?
Marigold menyempurnakan model difusi laten Difusi Stabil untuk menghasilkan peta kedalaman.
Bagaimana Marigold menyusun tugas estimasi kedalaman?
Ia memperlakukan kedalaman sebagai sesuatu yang 'dihasilkan' yang dikondisikan pada gambar masukan, menggunakan kembali mesin difusi.
Apa yang mengejutkan tentang data pelatihan Marigold?
Marigold telah disempurnakan pada data sintetis seperti Hypersim dan Virtual KITTI, tetapi menggeneralisasi zero-shot ke foto nyata.
Mengapa Marigold biasanya lebih lambat dibandingkan model kedalaman feed-forward?
Model difusi melakukan denoise dalam beberapa langkah, membuat inferensi lebih lambat dibandingkan dengan satu forward pass.
Di ruang manakah Marigold melakukan proses difusinya?
Baik gambar maupun kedalaman dikodekan ke dalam ruang laten VAE tempat U-Net melaporkan.
Teruslah belajar
Panduan terkait
Panduan lainnya dipilih untuk topik ini