Vizuální průvodce AI

Odhad hloubky difúze měsíčku

Marigold používá předtrénovaný model difúze generování obrazu (Stable Diffusion) k předpovídání vysoce detailních hloubkových map.

Poslechněte si tento návodAI-vyprávěný · ~2 min

Na této stránce2 minuty čtení
  1. Přehled
  2. Hluboký ponor
  3. Real-World Implementace
  4. Budoucnost odhadu hloubky difúze měsíčku lékařského
  5. Uvedení do praxe
  6. Pokračujte v objevování
  7. Často kladené otázky

Přehled

It shows you can turn a generator's rich visual knowledge into a precise perception tool with surprisingly little training data.

Hluboký ponor

Marigold (ETH Zurich, čestné uznání CVPR 2024) přeformuluje odhad hloubky jako problém podmíněného generování. Namísto trénování hloubkové sítě od začátku dolaďuje Stable Diffusion tak, aby „vytvářela“ hloubkovou mapu podmíněnou vstupním obrazem. Poznatek je takový, že model vycvičený k syntéze fotorealistických obrazů se již naučil geometrii scény, osvětlení a strukturu hluboko ve svém latentním prostoru, přesně ty předchozí užitečné pro hloubku. Je pozoruhodné, že Marigold byl vyladěn pouze na syntetických datových sadách (jako Hypersim a Virtual KITTI), přesto se dobře zobecňuje na skutečné fotografie zero-shot. Vytváří afinní invariantní relativní hloubku s výjimečně jemnými detaily, i když díky iterativnímu odšumování je pomalejší než dopředné modely, jako je DepthAnything.

Real-World Implementace

Získávání jemnozrnné hloubky z architektonických a produktových fotografií pro opětovné nasvícení a 3D makety.

Generování vysoce detailních hloubkových map používaných jako úprava pro řiditelné generování obrazu a videa.

Pomoc filmovým a VFX týmům při práci s matem a paralaxou tam, kde záleží na přesnosti hran.

Slouží jako základ výzkumu, který ukazuje, jak přizpůsobit generativní priority úkolům husté predikce.

Budoucnost odhadu hloubky difúze měsíčku lékařského

Marigoldův recept, dolaďující difúzní přednosti pro hustou predikci, zobecňuje mimo hloubku na povrchové normály, vnitřní rozklad obrazu a odhad materiálu. Rychlejší destilované varianty a varianty modelu konzistence uzavírají mezeru v rychlosti pomocí dopředných sítí, díky čemuž je vnímání založené na difúzi životaschopné v interaktivních nástrojích. Očekávejte širší trend, kdy je jedna předtrénovaná generativní páteř přizpůsobena mnoha úkolům geometrie a vnímání, což snižuje potřebu velkých datových sad označených pro konkrétní úkoly.

Uvedení do praxe

Proč na tom záleží

  • Rychlost a měřítko. Vizuální AI může automatizovat úkoly inspekce, detekce a označování ve velkém měřítku.
  • Volby sestavy. Kreativní týmy mohou prototypovat koncepty rychleji s menším počtem ručních revizí.
  • Tým a pracovní postup. Operace mohou využívat obrazové a video signály, které bylo dříve obtížné zpracovat.

Pozor na

  • Obrazová práva a souhlas se mohou stát právním rizikem, pokud je původ nejasný.
  • Výkon modelu se může lišit podle osvětlení, demografických údajů a prostředí.
  • Falešně pozitivní mohou zůstat bez povšimnutí, pokud nejsou monitorovány prahové hodnoty spolehlivosti.

Další kroky

  1. Definujte kritéria přijatelnosti pro přesnost, stažení a náklady na chyby.
  2. Testujte s daty, která odpovídají reálným výrobním podmínkám.
  3. Přidejte lidskou kontrolu pro předpovědi s nízkou spolehlivostí nebo velkým dopadem.
  4. Sledujte posun modelu a znovu ověřte po změnách kamery nebo datové sady.

Pokračujte v objevování

Newsletter zdarma

Získejte denní přehled o AI

Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.

Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.

Otestujte se

Take the Marigold Diffusion Depth Estimation quiz

Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.

Spustit kvíz

Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte

Často kladené otázky

What is Marigold Diffusion Depth Estimation?

Marigold používá předtrénovaný model difúze generování obrazu (Stable Diffusion) k předpovídání vysoce detailních hloubkových map. Ukazuje, že bohaté vizuální znalosti generátoru můžete proměnit v nástroj pro přesné vnímání s překvapivě malým množstvím tréninkových dat.

Na jakém předtrénovaném modelu Marigold staví?

Marigold dolaďuje model latentní difúze Stable Diffusion a vytváří hloubkové mapy.

Jak Marigold formuluje úlohu odhadu hloubky?

Zachází s hloubkou jako s něčím, co má být „vytvořeno“ podmíněným vstupním obrazem, a znovu používá difúzní stroje.

Co bylo překvapivé na Marigoldových tréninkových datech?

Marigold byl doladěn na syntetických datech jako Hypersim a Virtual KITTI, ale zobecňuje nulový snímek na skutečné fotografie.

Proč je Marigold obvykle pomalejší než modely s hloubkou posuvu vpřed?

Difúzní modely odšumují v několika krocích, takže inference je pomalejší než jeden dopředný průchod.

V jakém prostoru Marigold provádí svůj difúzní proces?

Obraz i hloubka jsou zakódovány do latentního prostoru VAE, kde U-Net odstraňuje šum.