SeterusnyaPanduan seterusnya
Anggaran Kedalaman Monokular
AI Visual
PANDUAN AI Visual
Marigold menggunakan semula model resapan penjanaan imej terlatih (Resapan Stabil) untuk meramalkan peta kedalaman yang sangat terperinci.
Dengar panduan iniAI-diceritakan · ~2 min
It shows you can turn a generator's rich visual knowledge into a precise perception tool with surprisingly little training data.
Marigold (ETH Zurich, CVPR 2024 Best Paper Honorable Mention) merangka semula anggaran kedalaman sebagai masalah penjanaan bersyarat. Daripada melatih rangkaian mendalam dari awal, ia memperhalusi Stable Diffusion untuk 'menjana' peta kedalaman yang dikondisikan pada imej input. Wawasannya ialah model yang dilatih untuk mensintesis imej fotorealistik telah mempelajari geometri pemandangan, pencahayaan dan struktur jauh di dalam ruang terpendamnya, betul-betul prior yang berguna untuk kedalaman. Hebatnya, Marigold telah diperhalusi pada set data sintetik sahaja (seperti Hypersim dan KITTI Maya) namun digeneralisasikan dengan baik kepada foto sebenar tangkapan sifar. Ia menghasilkan kedalaman relatif invarian afin dengan perincian yang sangat halus, walaupun denoising berulang menjadikannya lebih perlahan daripada model suapan ke hadapan seperti DepthAnything.
Mengekstrak kedalaman butiran halus daripada foto seni bina dan produk untuk pencahayaan semula dan mockup 3D.
Menjana peta kedalaman terperinci tinggi yang digunakan sebagai penyesuaian untuk penjanaan imej dan video yang boleh dikawal.
Membantu pasukan filem dan VFX dalam kerja matte dan paralaks di mana ketepatan tepi penting.
Berkhidmat sebagai garis dasar penyelidikan yang menunjukkan cara menyesuaikan generatif sebelum tugas ramalan yang padat.
Resipi Marigold, pendahuluan resapan penalaan halus untuk ramalan yang padat, membuat generalisasi melampaui kedalaman kepada normal permukaan, penguraian imej intrinsik dan anggaran bahan. Varian model suling dan konsisten yang lebih pantas sedang menutup jurang kelajuan dengan rangkaian suapan ke hadapan, menjadikan persepsi berasaskan resapan berdaya maju dalam alatan interaktif. Jangkakan aliran yang lebih luas di mana satu tulang belakang generatif yang telah dilatih disesuaikan dengan banyak tugas geometri dan persepsi, mengurangkan keperluan untuk set data berlabel khusus tugas yang besar.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Marigold menggunakan semula model resapan penjanaan imej terlatih (Resapan Stabil) untuk meramalkan peta kedalaman yang sangat terperinci. Ia menunjukkan anda boleh menukar pengetahuan visual penjana yang kaya kepada alat persepsi yang tepat dengan data latihan yang mengejutkan.
Marigold memperhalusi model resapan terpendam Stable Diffusion untuk menghasilkan peta kedalaman.
Ia menganggap kedalaman sebagai sesuatu yang 'dihasilkan' dikondisikan pada imej input, menggunakan semula jentera resapan.
Marigold telah diperhalusi pada data sintetik seperti Hypersim dan KITTI Maya tetapi menyamaratakan tangkapan sifar kepada foto sebenar.
Model resapan denoise melalui beberapa langkah, menjadikan inferens lebih perlahan daripada satu hantaran ke hadapan.
Kedua-dua imej dan kedalaman dikodkan ke dalam ruang terpendam VAE tempat U-Net denoise.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
Anggaran Kedalaman Monokular
AI Visual