LegközelebbKövetkező útmutató
Monokuláris mélységbecslés
Vizuális AI
Vizuális MI ÚTMUTATÓ
A Marigold egy előre betanított képgeneráló diffúziós modellt (Stable Diffusion) alkalmaz a rendkívül részletes mélységtérképek előrejelzésére.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Megmutatja, hogy a generátor gazdag vizuális tudását precíz érzékelési eszközzé alakíthatja meglepően kevés képzési adattal.
Marigold (ETH Zurich, CVPR 2024 Best Paper Honorable Mention) a mélységbecslést feltételes generálási problémaként fogalmazza meg. Ahelyett, hogy a nulláról tanítaná a mélységi hálózatot, finomhangolja a Stable Diffusion funkciót, hogy „generáljon” egy mélységtérképet, amely egy bemeneti képen alapul. A belátás az, hogy a fotorealisztikus képek szintetizálására kiképzett modell már megtanulta a jelenetek geometriáját, a megvilágítást és a szerkezetet mélyen a rejtett terében, pontosan a mélység szempontjából hasznos prioritásokat. Figyelemre méltó, hogy a Marigold-ot csak szintetikus adatkészleteken (például a Hypersim és a Virtual KITTI) finomhangolták, mégis jól általánosítható valódi, nulla felvételű fényképekre. Affin invariáns relatív mélységet produkál kivételesen finom részletekkel, bár az iteratív zajcsökkentés miatt lassabb, mint az előrecsatolt modellek, mint például a DepthAnything.
Finom szemcsés mélység kinyerése építészeti és termékfotókból újravilágításhoz és 3D makettekhez.
Nagy részletességű mélységi térképek generálása, amelyeket kondicionálásként használnak a szabályozható kép- és videógeneráláshoz.
Segítség a filmes és VFX csapatoknak a matt és parallaxis munkában, ahol az élek pontossága számít.
Kutatási alapként szolgál, amely bemutatja, hogyan lehet a generatív priorokat a sűrű előrejelzési feladatokhoz igazítani.
A Marigold-recept, amely finomhangolja a diffúziós prioritásokat a sűrű előrejelzéshez, a mélységen túl általánosítja a felszíni normálértékeket, a belső képbontást és az anyagbecslést. A gyorsabb desztillált és konzisztenciamodell-változatok előrecsatolt hálózatokkal zárják le a sebességkülönbséget, életképessé téve a diffúzió alapú észlelést az interaktív eszközökben. Egy szélesebb trendre számíthatunk, ahol egy előképzett generatív gerinc számos geometriai és észlelési feladathoz igazodik, így csökken a nagy, feladatspecifikus címkézett adatkészletek iránti igény.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A Marigold egy előre betanított képgeneráló diffúziós modellt (Stable Diffusion) alkalmaz a rendkívül részletes mélységtérképek előrejelzésére. Megmutatja, hogy a generátor gazdag vizuális tudását precíz érzékelési eszközzé alakíthatja meglepően kevés képzési adattal.
Marigold finomhangolja a Stable Diffusion látens diffúziós modellt a mélységtérképek elkészítéséhez.
A mélységet úgy kezeli, mint valami, amit a bemeneti kép alapján kell „generálni”, a diffúziós gépezet újrafelhasználásával.
A Marigold-ot szintetikus adatokra, például a Hypersimre és a Virtual KITTI-re finomították, de a nulla felvételt valódi fényképekre általánosítja.
A diffúziós modellek több lépésben zajosak, így a következtetés lassabb, mint egy előrehaladás.
Mind a kép, mind a mélység a VAE látens térbe van kódolva, ahol az U-Net zajtalan.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Monokuláris mélységbecslés
Vizuális AI