DalšíDalší průvodce
Monokulární odhad hloubky
Vizuální AI
Vizuální průvodce AI
Marigold používá předtrénovaný model difúze generování obrazu (Stable Diffusion) k předpovídání vysoce detailních hloubkových map.
Poslechněte si tento návodAI-vyprávěný · ~2 min
It shows you can turn a generator's rich visual knowledge into a precise perception tool with surprisingly little training data.
Marigold (ETH Zurich, čestné uznání CVPR 2024) přeformuluje odhad hloubky jako problém podmíněného generování. Namísto trénování hloubkové sítě od začátku dolaďuje Stable Diffusion tak, aby „vytvářela“ hloubkovou mapu podmíněnou vstupním obrazem. Poznatek je takový, že model vycvičený k syntéze fotorealistických obrazů se již naučil geometrii scény, osvětlení a strukturu hluboko ve svém latentním prostoru, přesně ty předchozí užitečné pro hloubku. Je pozoruhodné, že Marigold byl vyladěn pouze na syntetických datových sadách (jako Hypersim a Virtual KITTI), přesto se dobře zobecňuje na skutečné fotografie zero-shot. Vytváří afinní invariantní relativní hloubku s výjimečně jemnými detaily, i když díky iterativnímu odšumování je pomalejší než dopředné modely, jako je DepthAnything.
Získávání jemnozrnné hloubky z architektonických a produktových fotografií pro opětovné nasvícení a 3D makety.
Generování vysoce detailních hloubkových map používaných jako úprava pro řiditelné generování obrazu a videa.
Pomoc filmovým a VFX týmům při práci s matem a paralaxou tam, kde záleží na přesnosti hran.
Slouží jako základ výzkumu, který ukazuje, jak přizpůsobit generativní priority úkolům husté predikce.
Marigoldův recept, dolaďující difúzní přednosti pro hustou predikci, zobecňuje mimo hloubku na povrchové normály, vnitřní rozklad obrazu a odhad materiálu. Rychlejší destilované varianty a varianty modelu konzistence uzavírají mezeru v rychlosti pomocí dopředných sítí, díky čemuž je vnímání založené na difúzi životaschopné v interaktivních nástrojích. Očekávejte širší trend, kdy je jedna předtrénovaná generativní páteř přizpůsobena mnoha úkolům geometrie a vnímání, což snižuje potřebu velkých datových sad označených pro konkrétní úkoly.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Marigold používá předtrénovaný model difúze generování obrazu (Stable Diffusion) k předpovídání vysoce detailních hloubkových map. Ukazuje, že bohaté vizuální znalosti generátoru můžete proměnit v nástroj pro přesné vnímání s překvapivě malým množstvím tréninkových dat.
Marigold dolaďuje model latentní difúze Stable Diffusion a vytváří hloubkové mapy.
Zachází s hloubkou jako s něčím, co má být „vytvořeno“ podmíněným vstupním obrazem, a znovu používá difúzní stroje.
Marigold byl doladěn na syntetických datech jako Hypersim a Virtual KITTI, ale zobecňuje nulový snímek na skutečné fotografie.
Difúzní modely odšumují v několika krocích, takže inference je pomalejší než jeden dopředný průchod.
Obraz i hloubka jsou zakódovány do latentního prostoru VAE, kde U-Net odstraňuje šum.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Monokulární odhad hloubky
Vizuální AI