Anggaran Kedalaman Resapan Marigold
Marigold menggunakan semula model resapan penjanaan imej terlatih (Resapan Stabil) untuk meramalkan peta kedalaman yang sangat terperinci.
Gambaran keseluruhan
It shows you can turn a generator's rich visual knowledge into a precise perception tool with surprisingly little training data.
Menyelam dalam
Marigold (ETH Zurich, CVPR 2024 Best Paper Honorable Mention) merangka semula anggaran kedalaman sebagai masalah penjanaan bersyarat. Daripada melatih rangkaian mendalam dari awal, ia memperhalusi Stable Diffusion untuk 'menjana' peta kedalaman yang dikondisikan pada imej input. Wawasannya ialah model yang dilatih untuk mensintesis imej fotorealistik telah mempelajari geometri pemandangan, pencahayaan dan struktur jauh di dalam ruang terpendamnya, betul-betul prior yang berguna untuk kedalaman. Hebatnya, Marigold telah diperhalusi pada set data sintetik sahaja (seperti Hypersim dan KITTI Maya) namun digeneralisasikan dengan baik kepada foto sebenar tangkapan sifar. Ia menghasilkan kedalaman relatif invarian afin dengan perincian yang sangat halus, walaupun denoising berulang menjadikannya lebih perlahan daripada model suapan ke hadapan seperti DepthAnything.
Wawasan Teknikal
Marigold beroperasi dalam ruang terpendam Stable Diffusion. Kedua-dua imej dan peta kedalaman dikodkan oleh VAE yang sama; U-Net diperhalusi untuk menghilangkan denoise depth laten yang dikondisikan pada laten imej bersih. Pada inferens ia menjalankan gelung denoising lelaran standard, kemudian menyahkod pendam kedalaman. Kerana ia sampel, berbilang larian boleh digabungkan untuk kestabilan, pengiraan dagangan untuk ketepatan. Kemudian 'LCM' dan versi suling satu langkah mengurangkan berpuluh-puluh anak tangga kepada satu laluan.
Kesan Strategik
Kelajuan dan skala
Visual AI boleh mengautomasikan tugas pemeriksaan, pengesanan dan penandaan pada skala.
Pilihan binaan
Pasukan kreatif boleh membuat prototaip konsep dengan lebih pantas dengan lebih sedikit semakan manual.
Pasukan dan aliran kerja
Operasi boleh menggunakan isyarat imej dan video yang sebelum ini sukar diproses.
Masa Depan Anggaran Kedalaman Resapan Marigold
Resipi Marigold, pendahuluan resapan penalaan halus untuk ramalan yang padat, membuat generalisasi melampaui kedalaman kepada normal permukaan, penguraian imej intrinsik dan anggaran bahan. Varian model suling dan konsisten yang lebih pantas sedang menutup jurang kelajuan dengan rangkaian suapan ke hadapan, menjadikan persepsi berasaskan resapan berdaya maju dalam alatan interaktif. Jangkakan aliran yang lebih luas di mana satu tulang belakang generatif yang telah dilatih disesuaikan dengan banyak tugas geometri dan persepsi, mengurangkan keperluan untuk set data berlabel khusus tugas yang besar.
Pelaksanaan Dunia Sebenar
Mengekstrak kedalaman butiran halus daripada foto seni bina dan produk untuk pencahayaan semula dan mockup 3D.
Menjana peta kedalaman terperinci tinggi yang digunakan sebagai penyesuaian untuk penjanaan imej dan video yang boleh dikawal.
Membantu pasukan filem dan VFX dalam kerja matte dan paralaks di mana ketepatan tepi penting.
Berkhidmat sebagai garis dasar penyelidikan yang menunjukkan cara menyesuaikan generatif sebelum tugas ramalan yang padat.
Risiko & Pengawal
Hak imej dan persetujuan boleh menjadi risiko undang-undang jika asalnya tidak jelas.
Prestasi model boleh berbeza mengikut pencahayaan, demografi dan persekitaran.
Positif palsu mungkin tidak disedari melainkan ambang keyakinan dipantau.
Hala Tuju Pelaksanaan
Tentukan kriteria penerimaan untuk ketepatan, ingatan semula dan kos ralat.
Uji dengan data yang sepadan dengan keadaan pengeluaran sebenar.
Tambahkan semakan manusia untuk ramalan keyakinan rendah atau berimpak tinggi.
Jejaki hanyut model dan sahkan semula selepas perubahan kamera atau set data.
Teruskan Meneroka
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Marigold Diffusion Depth Estimation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Panduan seterusnya
Anggaran Kedalaman Monokular
Soalan lazim
What is Marigold Diffusion Depth Estimation?
Marigold menggunakan semula model resapan penjanaan imej terlatih (Resapan Stabil) untuk meramalkan peta kedalaman yang sangat terperinci. Ia menunjukkan anda boleh menukar pengetahuan visual penjana yang kaya kepada alat persepsi yang tepat dengan data latihan yang mengejutkan.
Apakah model pralatihan yang dibina oleh Marigold?
Marigold memperhalusi model resapan terpendam Stable Diffusion untuk menghasilkan peta kedalaman.
Bagaimanakah Marigold merangka tugasan anggaran kedalaman?
Ia menganggap kedalaman sebagai sesuatu yang 'dihasilkan' dikondisikan pada imej input, menggunakan semula jentera resapan.
Apakah yang mengejutkan tentang data latihan Marigold?
Marigold telah diperhalusi pada data sintetik seperti Hypersim dan KITTI Maya tetapi menyamaratakan tangkapan sifar kepada foto sebenar.
Mengapa Marigold biasanya lebih perlahan daripada model kedalaman suapan ke hadapan?
Model resapan denoise melalui beberapa langkah, menjadikan inferens lebih perlahan daripada satu hantaran ke hadapan.
Dalam ruang manakah Marigold melakukan proses resapannya?
Kedua-dua imej dan kedalaman dikodkan ke dalam ruang terpendam VAE tempat U-Net denoise.