Visual AI Itọsọna

Marigold Itankale Ijinle Ifoju

Marigold ṣe atunṣe awoṣe itanka aworan ti a ti kọkọ tẹlẹ (Itan kaakiri) lati ṣe asọtẹlẹ awọn maapu ijinle alaye ti o ga julọ.

Akopọ

Marigold ṣe atunṣe awoṣe itanka aworan ti a ti kọkọ tẹlẹ (Itan kaakiri) lati ṣe asọtẹlẹ awọn maapu ijinle alaye ti o ga julọ. O fihan pe o le yi imoye wiwo ọlọrọ ti olupilẹṣẹ sinu ohun elo iwoye deede pẹlu data ikẹkọ iyalẹnu kekere.

Iṣiro Ijinle Itankale Marigold jẹ ti awọn ṣiṣan iṣẹ-iriran kọnputa ti o tumọ tabi ṣe ipilẹṣẹ media wiwo fun itupalẹ, awọn iṣẹ ṣiṣe, ati ẹda.

Jin Dive

Marigold (ETH Zurich, CVPR 2024 Ti o dara ju Paper Honorable Mention) ṣe atunṣe iṣiro ijinle bi iṣoro iran ipo. Dipo ikẹkọ nẹtiwọọki ijinle lati ibere, o dara-tunes Itankale Iduroṣinṣin lati 'ipilẹṣẹ' maapu ijinle ti o ni iloniniye lori aworan titẹ sii. Ìjìnlẹ̀ òye náà ni pé àwòkọ́ṣe kan tí a kọ́ láti ṣe àkópọ̀ àwọn àwòrán ojútáyé ti kẹ́kọ̀ọ́ geometry ìṣẹ̀lẹ̀ tẹ́lẹ̀, ìmọ́lẹ̀, àti ìgbékalẹ̀ ìjìnlẹ̀ nínú àyè ìkọ̀kọ̀ rẹ̀, ní pàtó tí ó wúlò fún ìjìnlẹ̀. Ni iyalẹnu, Marigold jẹ aifwy daradara lori awọn ipilẹ data sintetiki nikan (bii Hypersim ati Virtual KITTI) sibẹsibẹ ṣajọpọ daradara si awọn fọto gidi-odo. O ṣe agbejade ijinle ojulumo apaniyan affin pẹlu awọn alaye ti o dara ni iyasọtọ, botilẹjẹpe ikọsilẹ aṣetunṣe jẹ ki o lọra ju awọn awoṣe kikọ siwaju bi DepthAnything.

Imọ-imọ-ẹrọ

Marigold nṣiṣẹ ni aaye wiwaba Stable Diffusion. Mejeeji aworan ati maapu ijinle jẹ koodu nipasẹ VAE kanna; awọn U-Net ti wa ni itanran-aifwy lati denoise kan ijinle wiwaba iloniniye lori mimọ image wiwaba. Ni itọka o n ṣiṣẹ lupu aṣetunṣe aṣetunṣe iwọntunwọnsi, lẹhinna pinnu wiwakọ ijinle. Nitoripe o ṣe ayẹwo, ọpọlọpọ awọn ṣiṣe le ṣe akojọpọ fun iduroṣinṣin, iṣiro iṣowo fun deede. Nigbamii 'LCM' ati awọn ẹya distilled ọkan-igbesẹ ge awọn dosinni ti awọn igbesẹ si isalẹ lati kan nikan kọja.

Mastering Marigold Itankale Ijinle Ifoju

Marigold ṣe atunṣe awoṣe itanka aworan ti a ti kọkọ tẹlẹ (Itan kaakiri) lati ṣe asọtẹlẹ awọn maapu ijinle alaye ti o ga julọ. O fihan pe o le yi imoye wiwo ọlọrọ ti olupilẹṣẹ sinu ohun elo iwoye deede pẹlu data ikẹkọ iyalẹnu kekere. Iṣiro Ijinle Itankale Marigold jẹ ti awọn ṣiṣan iṣẹ-iriran kọnputa ti o tumọ tabi ṣe ipilẹṣẹ media wiwo fun itupalẹ, awọn iṣẹ ṣiṣe, ati ẹda. Lati kọ oye ti o jinlẹ, tọju Iṣiro Ijinle Marigold Diffusion bi awoṣe iṣẹ, kii ṣe ẹya ẹyọkan: ṣalaye awọn abajade ti o fẹ, ṣalaye awọn arosọ, ati ya sọtọ ohun ti eto le ṣe ni igbẹkẹle lati ohun ti o tun nilo idajọ amoye.

Ni iṣe, awọn ẹgbẹ ti o lagbara ni lilo iwọntunwọnsi iwọntunwọnsi Ijin kaakiri Marigold pẹlu awọn ojulowo iṣẹ bii didara data, iyatọ ina, ati isamisi aitasera. Wọn ṣe akọsilẹ awọn ibeere aṣeyọri ti o fojuhan, idanwo lodi si data ojulowo ati ṣiṣan iṣẹ, ati atunbere ti o da lori awọn ilana ikuna ti a ṣakiyesi dipo awọn bori ala-akoko kan. Eyi ni ibiti oye imọ-jinlẹ yipada si agbara ti o tọ kọja ọja, eto imulo, ati awọn iṣẹ ṣiṣe.

Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn. Ni akoko kanna, Awọn ẹtọ aworan ati ifọkansi le di awọn eewu labẹ ofin ti o ba jẹ afihan. Ọna resilient julọ julọ ni lati darapọ iyara idanwo pẹlu ibawi ijọba: ṣiṣe awọn awakọ awakọ, mu ẹri mu, ṣe atẹjade awọn iwe ipinnu, ati imudojuiwọn awọn aabo nigbagbogbo bi ihuwasi awoṣe, awọn ireti olumulo, ati awọn ibeere ilana ti dagbasoke.

Ipa Ilana

Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn.

Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.

Awọn ẹgbẹ ẹda le ṣe apẹrẹ awọn imọran yiyara pẹlu awọn atunyẹwo afọwọṣe diẹ.

Awọn ẹgbẹ ẹda le ṣe apẹrẹ awọn imọran yiyara pẹlu awọn atunyẹwo afọwọṣe diẹ. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.

Awọn iṣẹ ṣiṣe le lo aworan ati awọn ifihan agbara fidio ti o nira tẹlẹ lati ṣiṣẹ.

Awọn iṣẹ ṣiṣe le lo aworan ati awọn ifihan agbara fidio ti o nira tẹlẹ lati ṣiṣẹ. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.

Ojo iwaju ti Iṣiro Ijinle Marigold

Ohunelo Marigold, awọn iṣaju iṣatunṣe ti o dara fun asọtẹlẹ ipon, jẹ gbogbogbo kọja ijinle si awọn iṣe deede oju, jijẹ aworan inu, ati iṣiro ohun elo. Yiyara distilled ati aitasera-awoṣe iyatọ ti wa ni pipade awọn iyara aafo pẹlu kikọ sii-nẹtiwọki, ṣiṣe awọn mimọ-orisun itankale le ṣee ṣe ni awọn irinṣẹ ibanisọrọ. Reti aṣa ti o gbooro nibiti ọkan ti o jẹ ẹhin ipilẹṣẹ ti iṣaju ti ni ibamu si ọpọlọpọ awọn jiometirika ati awọn iṣẹ ṣiṣe akiyesi, idinku iwulo fun awọn aami data ti o ni iyasọtọ iṣẹ-ṣiṣe pataki.

Real-World imuse

Yiyọ ijinle ti o dara lati inu ayaworan ati awọn fọto ọja fun didan ati awọn ẹgan 3D.

Ṣiṣẹda awọn maapu ijinle alaye-giga ti a lo bi imuduro fun aworan iṣakoso ati iran fidio.

Fiimu iranlọwọ ati awọn ẹgbẹ VFX ni matte ati iṣẹ parallax nibiti awọn ọrọ titọ eti.

Ṣiṣẹ bi ipilẹ iwadi ti n fihan bi o ṣe le ṣe deede awọn ipilẹṣẹ ipilẹṣẹ si awọn iṣẹ ṣiṣe asọtẹlẹ ipon.

Awọn Ilana imuse

Iṣiro Ijinle Marigold Itankale ni iṣe

Yiyọ ijinle ti o dara lati inu ayaworan ati awọn fọto ọja fun didan ati awọn ẹgan 3D.

Yiyọ ijinle ti o dara lati inu ayaworan ati awọn fọto ọja fun isunmọ ati awọn ẹlẹgàn 3D Awọn ẹgbẹ nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa awọn anfani iṣelọpọ mejeeji ati awọn idiyele aṣiṣe lori akoko.

Iṣiro Ijinle Marigold Itankale ni iṣe

Ṣiṣẹda awọn maapu ijinle alaye-giga ti a lo bi imuduro fun aworan iṣakoso ati iran fidio.

Ṣiṣẹda awọn maapu ijinle alaye ti o ga julọ ti a lo bi karabosipo fun aworan iṣakoso ati awọn ẹgbẹ iran fidio nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa awọn anfani iṣelọpọ mejeeji ati awọn idiyele aṣiṣe lori akoko.

Iṣiro Ijinle Marigold Itankale ni iṣe

Fiimu iranlọwọ ati awọn ẹgbẹ VFX ni matte ati iṣẹ parallax nibiti awọn ọrọ titọ eti.

Fiimu iranlọwọ ati awọn ẹgbẹ VFX ni matte ati iṣẹ parallax nibiti awọn ọran titọ eti Awọn ẹgbẹ nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa awọn anfani iṣelọpọ mejeeji ati awọn idiyele aṣiṣe lori akoko.

Iṣiro Ijinle Marigold Itankale ni iṣe

Ṣiṣẹ bi ipilẹ iwadi ti n fihan bi o ṣe le ṣe deede awọn ipilẹṣẹ ipilẹṣẹ si awọn iṣẹ ṣiṣe asọtẹlẹ ipon.

Ṣiṣẹ bi ipilẹ ipilẹ iwadi ti n ṣafihan bi o ṣe le ṣe adaṣe awọn ipilẹṣẹ ipilẹṣẹ si awọn iṣẹ-ṣiṣe asọtẹlẹ ipon Awọn ẹgbẹ nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa awọn anfani iṣelọpọ mejeeji ati awọn idiyele aṣiṣe lori akoko.

Awọn ewu & Awọn ọna iṣọ

!

Awọn ẹtọ aworan ati igbanilaaye le di awọn eewu labẹ ofin ti o ba jẹ afihan.

!

Iṣe awoṣe le yatọ kọja ina, awọn ẹda eniyan, ati awọn agbegbe.

!

Awọn idaniloju eke le ma ṣe akiyesi ayafi ti a ba ṣe abojuto awọn ala igbẹkẹle.

Ilana Ilana imuse

1

Ṣetumo awọn ibeere gbigba fun pipe, iranti, ati awọn idiyele aṣiṣe.

Ṣetumo awọn ibeere gbigba fun pipe, iranti, ati awọn idiyele aṣiṣe. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.

2

Ṣe idanwo pẹlu data ti o baamu awọn ipo iṣelọpọ gidi.

Ṣe idanwo pẹlu data ti o baamu awọn ipo iṣelọpọ gidi. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.

3

Ṣafikun atunyẹwo eniyan fun igbẹkẹle kekere tabi awọn asọtẹlẹ ipa-giga.

Ṣafikun atunyẹwo eniyan fun igbẹkẹle kekere tabi awọn asọtẹlẹ ipa-giga. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.

4

Tọpinpin awoṣe ki o ṣe tunṣe lẹhin kamẹra tabi awọn ayipada datasetto.

Tọpinpin awoṣe ki o ṣe tunṣe lẹhin kamẹra tabi awọn ayipada datasetto. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.

Tesiwaju Ṣiṣawari