Odhad hloubky difúze měsíčku
Marigold používá předtrénovaný model difúze generování obrazu (Stable Diffusion) k předpovídání vysoce detailních hloubkových map.
Přehled
It shows you can turn a generator's rich visual knowledge into a precise perception tool with surprisingly little training data.
Hluboký ponor
Marigold (ETH Zurich, čestné uznání CVPR 2024) přeformuluje odhad hloubky jako problém podmíněného generování. Namísto trénování hloubkové sítě od začátku dolaďuje Stable Diffusion tak, aby „vytvářela“ hloubkovou mapu podmíněnou vstupním obrazem. Poznatek je takový, že model vycvičený k syntéze fotorealistických obrazů se již naučil geometrii scény, osvětlení a strukturu hluboko ve svém latentním prostoru, přesně ty předchozí užitečné pro hloubku. Je pozoruhodné, že Marigold byl vyladěn pouze na syntetických datových sadách (jako Hypersim a Virtual KITTI), přesto se dobře zobecňuje na skutečné fotografie zero-shot. Vytváří afinní invariantní relativní hloubku s výjimečně jemnými detaily, i když díky iterativnímu odšumování je pomalejší než dopředné modely, jako je DepthAnything.
Technický přehled
Marigold působí v latentním prostoru Stable Diffusion. Obraz i hloubková mapa jsou kódovány stejným VAE; U-Net je vyladěn tak, aby odšumoval hloubkový latent podmíněný čistým latentním obrazem. Na závěr spustí standardní iterativní smyčku odšumování a poté dekóduje latentní hloubku. Vzhledem k tomu, že vzorkuje, lze seskupovat více běhů kvůli stabilitě a obchodování s výpočty kvůli přesnosti. Pozdější verze „LCM“ a jednokrokové destilované verze zkrátily desítky kroků na jediný průchod.
Strategický dopad
Rychlost a měřítko
Vizuální AI může automatizovat úkoly inspekce, detekce a označování ve velkém měřítku.
Volby sestavy
Kreativní týmy mohou prototypovat koncepty rychleji s menším počtem ručních revizí.
Tým a pracovní postup
Operace mohou využívat obrazové a video signály, které bylo dříve obtížné zpracovat.
Budoucnost odhadu hloubky difúze měsíčku lékařského
Marigoldův recept, dolaďující difúzní přednosti pro hustou predikci, zobecňuje mimo hloubku na povrchové normály, vnitřní rozklad obrazu a odhad materiálu. Rychlejší destilované varianty a varianty modelu konzistence uzavírají mezeru v rychlosti pomocí dopředných sítí, díky čemuž je vnímání založené na difúzi životaschopné v interaktivních nástrojích. Očekávejte širší trend, kdy je jedna předtrénovaná generativní páteř přizpůsobena mnoha úkolům geometrie a vnímání, což snižuje potřebu velkých datových sad označených pro konkrétní úkoly.
Real-World Implementace
Získávání jemnozrnné hloubky z architektonických a produktových fotografií pro opětovné nasvícení a 3D makety.
Generování vysoce detailních hloubkových map používaných jako úprava pro řiditelné generování obrazu a videa.
Pomoc filmovým a VFX týmům při práci s matem a paralaxou tam, kde záleží na přesnosti hran.
Slouží jako základ výzkumu, který ukazuje, jak přizpůsobit generativní priority úkolům husté predikce.
Rizika a zábradlí
Obrazová práva a souhlas se mohou stát právním rizikem, pokud je původ nejasný.
Výkon modelu se může lišit podle osvětlení, demografických údajů a prostředí.
Falešně pozitivní mohou zůstat bez povšimnutí, pokud nejsou monitorovány prahové hodnoty spolehlivosti.
Plán implementace
Definujte kritéria přijatelnosti pro přesnost, stažení a náklady na chyby.
Testujte s daty, která odpovídají reálným výrobním podmínkám.
Přidejte lidskou kontrolu pro předpovědi s nízkou spolehlivostí nebo velkým dopadem.
Sledujte posun modelu a znovu ověřte po změnách kamery nebo datové sady.
Pokračujte v objevování
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Marigold Diffusion Depth Estimation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Další průvodce
Monokulární odhad hloubky
Často kladené otázky
What is Marigold Diffusion Depth Estimation?
Marigold používá předtrénovaný model difúze generování obrazu (Stable Diffusion) k předpovídání vysoce detailních hloubkových map. Ukazuje, že bohaté vizuální znalosti generátoru můžete proměnit v nástroj pro přesné vnímání s překvapivě malým množstvím tréninkových dat.
Na jakém předtrénovaném modelu Marigold staví?
Marigold dolaďuje model latentní difúze Stable Diffusion a vytváří hloubkové mapy.
Jak Marigold formuluje úlohu odhadu hloubky?
Zachází s hloubkou jako s něčím, co má být „vytvořeno“ podmíněným vstupním obrazem, a znovu používá difúzní stroje.
Co bylo překvapivé na Marigoldových tréninkových datech?
Marigold byl doladěn na syntetických datech jako Hypersim a Virtual KITTI, ale zobecňuje nulový snímek na skutečné fotografie.
Proč je Marigold obvykle pomalejší než modely s hloubkou posuvu vpřed?
Difúzní modely odšumují v několika krocích, takže inference je pomalejší než jeden dopředný průchod.
V jakém prostoru Marigold provádí svůj difúzní proces?
Obraz i hloubka jsou zakódovány do latentního prostoru VAE, kde U-Net odstraňuje šum.