Marigold Itankale Ijinle Ifoju
Marigold ṣe atunṣe awoṣe itanka aworan ti a ti kọkọ tẹlẹ (Itan kaakiri) lati ṣe asọtẹlẹ awọn maapu ijinle alaye ti o ga julọ.
Akopọ
O fihan pe o le tan imọ wiwo ọlọrọ ti monomono sinu ọpa iwoye deede pẹlu data ikẹkọ kekere ti iyalẹnu.
Jin Dive
Marigold (ETH Zurich, CVPR 2024 Ti o dara ju Paper Honorable Mention) ṣe atunṣe iṣiro ijinle bi iṣoro iran ipo. Dipo ikẹkọ nẹtiwọọki ijinle lati ibere, o dara-tunes Itankale Iduroṣinṣin lati 'ipilẹṣẹ' maapu ijinle ti o ni iloniniye lori aworan titẹ sii. Ìjìnlẹ̀ òye náà ni pé àwòkọ́ṣe kan tí a kọ́ láti ṣe àkópọ̀ àwọn àwòrán ojútáyé ti kẹ́kọ̀ọ́ geometry ìṣẹ̀lẹ̀ tẹ́lẹ̀, ìmọ́lẹ̀, àti ìgbékalẹ̀ ìjìnlẹ̀ nínú àyè ìkọ̀kọ̀ rẹ̀, ní pàtó tí ó wúlò fún ìjìnlẹ̀. Ni iyalẹnu, Marigold jẹ aifwy daradara lori awọn ipilẹ data sintetiki nikan (bii Hypersim ati Virtual KITTI) sibẹsibẹ ṣajọpọ daradara si awọn fọto gidi-odo. O ṣe agbejade ijinle ojulumo apaniyan affin pẹlu awọn alaye ti o dara ni iyasọtọ, botilẹjẹpe ikọsilẹ aṣetunṣe jẹ ki o lọra ju awọn awoṣe kikọ siwaju bi DepthAnything.
Imọ-imọ-ẹrọ
Marigold nṣiṣẹ ni aaye wiwaba Stable Diffusion. Mejeeji aworan ati maapu ijinle jẹ koodu nipasẹ VAE kanna; awọn U-Net ti wa ni itanran-aifwy lati denoise kan ijinle wiwaba iloniniye lori mimọ image wiwaba. Ni itọka o n ṣiṣẹ lupu aṣetunṣe aṣetunṣe iwọntunwọnsi, lẹhinna pinnu wiwakọ ijinle. Nitoripe o ṣe ayẹwo, ọpọlọpọ awọn ṣiṣe le ṣe akojọpọ fun iduroṣinṣin, iṣiro iṣowo fun deede. Nigbamii 'LCM' ati awọn ẹya distilled ọkan-igbesẹ ge awọn dosinni ti awọn igbesẹ si isalẹ lati kan nikan kọja.
Ipa Ilana
Iyara ati iwọn
Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn.
Kọ awọn yiyan
Awọn ẹgbẹ ẹda le ṣe apẹrẹ awọn imọran yiyara pẹlu awọn atunyẹwo afọwọṣe diẹ.
Ẹgbẹ ati ṣiṣan iṣẹ
Awọn iṣẹ ṣiṣe le lo aworan ati awọn ifihan agbara fidio ti o nira tẹlẹ lati ṣiṣẹ.
Ojo iwaju ti Iṣiro Ijinle Marigold
Ohunelo Marigold, awọn iṣaju iṣatunṣe ti o dara fun asọtẹlẹ ipon, jẹ gbogbogbo kọja ijinle si awọn iṣe deede oju, jijẹ aworan inu, ati iṣiro ohun elo. Yiyara distilled ati aitasera-awoṣe iyatọ ti wa ni pipade awọn iyara aafo pẹlu kikọ sii-nẹtiwọki, ṣiṣe awọn mimọ-orisun itankale le ṣee ṣe ni awọn irinṣẹ ibanisọrọ. Reti aṣa ti o gbooro nibiti ọkan ti o jẹ ẹhin ipilẹṣẹ ti iṣaju ti ni ibamu si ọpọlọpọ awọn jiometirika ati awọn iṣẹ ṣiṣe akiyesi, idinku iwulo fun awọn aami data ti o ni iyasọtọ iṣẹ-ṣiṣe pataki.
Real-World imuse
Yiyọ ijinle ti o dara lati inu ayaworan ati awọn fọto ọja fun didan ati awọn ẹgan 3D.
Ṣiṣẹda awọn maapu ijinle alaye-giga ti a lo bi imuduro fun aworan iṣakoso ati iran fidio.
Fiimu iranlọwọ ati awọn ẹgbẹ VFX ni matte ati iṣẹ parallax nibiti awọn ọrọ titọ eti.
Ṣiṣẹ bi ipilẹ iwadi ti n fihan bi o ṣe le ṣe deede awọn ipilẹṣẹ ipilẹṣẹ si awọn iṣẹ ṣiṣe asọtẹlẹ ipon.
Awọn ewu & Awọn ọna iṣọ
Awọn ẹtọ aworan ati igbanilaaye le di awọn eewu labẹ ofin ti o ba jẹ afihan.
Iṣe awoṣe le yatọ kọja ina, awọn ẹda eniyan, ati awọn agbegbe.
Awọn idaniloju eke le ma ṣe akiyesi ayafi ti a ba ṣe abojuto awọn ala igbẹkẹle.
Ilana Ilana imuse
Ṣetumo awọn ibeere gbigba fun pipe, iranti, ati awọn idiyele aṣiṣe.
Ṣe idanwo pẹlu data ti o baamu awọn ipo iṣelọpọ gidi.
Ṣafikun atunyẹwo eniyan fun igbẹkẹle kekere tabi awọn asọtẹlẹ ipa-giga.
Tọpinpin awoṣe ki o ṣe tunṣe lẹhin kamẹra tabi awọn ayipada datasetto.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Marigold Diffusion Depth Estimation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Iṣiro Ijinle Monocular
Awọn ibeere ti a beere nigbagbogbo
Kini Marigold Diffusion Depth Estimation?
Marigold ṣe atunṣe awoṣe itanka aworan ti a ti kọkọ tẹlẹ (Itan kaakiri) lati ṣe asọtẹlẹ awọn maapu ijinle alaye ti o ga julọ. O fihan pe o le yi imoye wiwo ọlọrọ ti olupilẹṣẹ sinu ohun elo iwoye deede pẹlu data ikẹkọ iyalẹnu kekere.
Ohun ti pretrained awoṣe Marigold kọ lori?
Marigold itanran-tun ṣe awoṣe Itankale Iduroṣinṣin Iduroṣinṣin lati ṣe agbejade awọn maapu ijinle.
Bawo ni Marigold ṣe fireemu iṣẹ ṣiṣe iṣiro ijinle?
O ṣe itọju ijinle bi nkan lati jẹ 'ipilẹṣẹ' ni ilodi si lori aworan titẹ sii, tunlo ẹrọ itankale.
Kini iyalẹnu nipa data ikẹkọ Marigold?
Marigold jẹ aifwy ti o dara lori data sintetiki bi Hypersim ati foju KITTI ṣugbọn o ṣe akopọ odo-shot si awọn fọto gidi.
Kini idi ti Marigold maa n lọra ju awọn awoṣe ijinle kikọ-siwaju lọ?
Awọn awoṣe itọka si kọlu lori awọn igbesẹ pupọ, ti o jẹ ki itọkasi lọra ju igbasilẹ siwaju ẹyọkan lọ.
Ni aaye wo ni Marigold ṣe ilana ilana itankale rẹ?
Mejeeji aworan ati ijinle ti wa ni koodu sinu aaye wiwaba VAE nibiti U-Net ko kọ.