Visual AI Itọsọna

Gaussian Splatting

Gaussian Splatting ṣe aṣoju iṣẹlẹ 3D kan bi awọn miliọnu kekere, awọ, awọn blobs ologbele-sihin ti o le ṣe ni akoko gidi.

Akopọ

Gaussian Splatting ṣe aṣoju iṣẹlẹ 3D kan bi awọn miliọnu kekere, awọ, awọn blobs ologbele-sihin ti o le ṣe ni akoko gidi. O ṣe igbasilẹ NeRF-bi photorealism lakoko ti o nṣiṣẹ ni iyara to fun wiwo ibanisọrọ.

Gaussian Splatting jẹ ti awọn iṣan-iṣẹ iṣẹ iran-kọmputa ti o tumọ tabi ṣe agbejade media wiwo fun itupalẹ, awọn iṣẹ ṣiṣe, ati ẹda.

Jin Dive

Iṣagbekalẹ ni SIGGRAPH 2023, 3D Gaussian Splatting ṣe atunto awọn iwoye lati awọn fọto bii NeRF ṣugbọn o nlo aṣoju ti o fojuhan dipo nẹtiwọọki nkankikan ti o farapamọ. Oju iṣẹlẹ kọọkan jẹ awọsanma ti awọn Gaussians 3D, iruju ellipsoidal blobs, ati blob kọọkan tọju ipo kan, iwọn ati iṣalaye (ajọpọ rẹ), opacity, ati awọ. Dipo ti awọn eegun titu laiyara nipasẹ nẹtiwọọki kan, ọna “splats” awọn blobs wọnyi taara si iboju ki o dapọ wọn, ilana ti o sunmọ rasterization ibile ati nitorinaa iyara pupọ. Ikẹkọ bẹrẹ lati awọsanma aaye fọnka ti o ṣejade nipasẹ isọdiwọn kamẹra, lẹhinna mu awọn bulọọki pọ si lakoko ti o nfi awọn alaye kun ni ibamu si ibiti iṣẹlẹ naa ti wa labẹ atunto ati gige ni ibiti o ti pọ si. Abajade jẹ atunṣe akoko gidi ni 1080p pẹlu idije didara julọ awọn NeRFs ti o dara julọ, eyiti o jẹ idi ti o fi tan kaakiri nipasẹ awọn eya aworan ati awọn irinṣẹ imudani.

Imọ-imọ-ẹrọ

Bọtini naa jẹ rasterizer ti o da lori tile ti o yatọ. Awọn Gaussians 3D ti jẹ iṣẹ akanṣe si 2D, lẹsẹsẹ nipasẹ ijinle, ati alfa-parapo fun tile iboju, nitorinaa fifunni yago fun lilọ kiri ray-pixel ti o jẹ ki NeRF lọra. Awọ ti wa ni ipamọ pẹlu awọn irẹpọ iyipo, jẹ ki blob kọọkan yipada irisi pẹlu igun wiwo lati mu awọn iweyinpada. Nitoripe gbogbo opo gigun ti epo jẹ iyatọ, iru-idiwọn isọdọtun fọto kanna ti o lo nipasẹ NeRF ṣe iṣapeye awọn ipo blob, awọn apẹrẹ, awọn opacities, ati awọn awọ, lakoko ti igbesẹ densification kan dagba tabi pin Gaussians lati ṣafikun awọn alaye ti o padanu.

Titunto si Gaussian Splatting

Gaussian Splatting ṣe aṣoju iṣẹlẹ 3D kan bi awọn miliọnu kekere, awọ, awọn blobs ologbele-sihin ti o le ṣe ni akoko gidi. O ṣe igbasilẹ NeRF-bi photorealism lakoko ti o nṣiṣẹ ni iyara to fun wiwo ibanisọrọ. Gaussian Splatting jẹ ti awọn iṣan-iṣẹ iṣẹ iran-kọmputa ti o tumọ tabi ṣe agbejade media wiwo fun itupalẹ, awọn iṣẹ ṣiṣe, ati ẹda. Lati kọ oye ti o jinlẹ, tọju Gaussian Splatting bi awoṣe iṣẹ, kii ṣe ẹya kan: ṣalaye awọn abajade ti o fẹ, ṣe alaye awọn arosọ, ati yapa ohun ti eto le ṣe ni igbẹkẹle lati ohun ti o tun nilo idajọ amoye.

Ni iṣe, awọn ẹgbẹ ti o lagbara ni lilo deede iwọntunwọnsi Gaussian Splatting pẹlu awọn otitọ iṣiṣẹ bii didara data, iyatọ ina, ati isamisi aitasera. Wọn ṣe akọsilẹ awọn ibeere aṣeyọri ti o fojuhan, idanwo lodi si data ojulowo ati ṣiṣan iṣẹ, ati atunbere ti o da lori awọn ilana ikuna ti a ṣakiyesi dipo awọn bori ala-akoko kan. Eyi ni ibiti oye imọ-jinlẹ yipada si agbara ti o tọ kọja ọja, eto imulo, ati awọn iṣẹ ṣiṣe.

Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn. Ni akoko kanna, Awọn ẹtọ aworan ati ifọkansi le di awọn eewu labẹ ofin ti o ba jẹ afihan. Ọna resilient julọ julọ ni lati darapọ iyara idanwo pẹlu ibawi ijọba: ṣiṣe awọn awakọ awakọ, mu ẹri mu, ṣe atẹjade awọn iwe ipinnu, ati imudojuiwọn awọn aabo nigbagbogbo bi ihuwasi awoṣe, awọn ireti olumulo, ati awọn ibeere ilana ti dagbasoke.

Ipa Ilana

Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn.

Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.

Awọn ẹgbẹ ẹda le ṣe apẹrẹ awọn imọran yiyara pẹlu awọn atunyẹwo afọwọṣe diẹ.

Awọn ẹgbẹ ẹda le ṣe apẹrẹ awọn imọran yiyara pẹlu awọn atunyẹwo afọwọṣe diẹ. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.

Awọn iṣẹ ṣiṣe le lo aworan ati awọn ifihan agbara fidio ti o nira tẹlẹ lati ṣiṣẹ.

Awọn iṣẹ ṣiṣe le lo aworan ati awọn ifihan agbara fidio ti o nira tẹlẹ lati ṣiṣẹ. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.

Ojo iwaju ti Gaussian Splatting

Gaussian Splatting n gbe ni iyara lati iwadii sinu awọn ọja fun gbigba 3D, aworan agbaye, ati iṣelọpọ foju, ni apakan nitori pe o ṣe ni akoko gidi lori awọn GPU olumulo ati paapaa awọn aṣawakiri. Awọn ibi-afẹde iṣẹ ti nṣiṣe lọwọ idinku awọn iwọn faili (awọn iwoye le jẹ nla), mimu mimu agbara ati awọn iwoye ere idaraya, didan, ati ṣiṣatunṣe awọn nkan kọọkan. Reti isọpọ titọ pẹlu awọn ẹrọ ere ati AR/VR, awọn ọna arabara ti o ṣajọpọ awọn splats pẹlu awọn meshes, ati gbigba lati fidio foonu. O ti wa ni ri siwaju sii bi iranlowo to wulo si, tabi rirọpo fun, NeRF nibikibi ti iyara ibanisọrọ ọrọ.

Real-World imuse

Ṣiṣẹda akoko gidi, awọn iyaworan 3D ti o ṣawari ti awọn yara tabi awọn ọja fun wẹẹbu

Ṣiṣẹjade foju ati iṣaju fiimu pẹlu fọtoyiya, awọn eto lilọ kiri

Ṣiṣayẹwo 3D iyara ti awọn nkan ati awọn agbegbe lati foonu tabi fidio drone

Ṣiṣe awọn iwoye AR/VR ibaraenisepo ti o nṣiṣẹ laisiyonu lori ohun elo olumulo

Awọn Ilana imuse

Gaussian Splatting ni iwa

Ṣiṣẹda akoko gidi, awọn iyaworan 3D ti o ṣawari ti awọn yara tabi awọn ọja fun wẹẹbu.

Ṣiṣẹda akoko gidi, awọn iyaworan 3D ti o ṣawari ti awọn yara tabi awọn ọja fun Awọn ẹgbẹ wẹẹbu nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa awọn anfani iṣelọpọ mejeeji ati awọn idiyele aṣiṣe lori akoko.

Gaussian Splatting ni iwa

Ṣiṣẹjade foju ati iṣaju fiimu pẹlu fọtoyiya, awọn eto lilọ kiri.

Iṣelọpọ foju ati iṣaju fiimu pẹlu fọtoyiya, awọn eto lilọ kiri Awọn ẹgbẹ nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa awọn anfani iṣelọpọ mejeeji ati awọn idiyele aṣiṣe lori akoko.

Gaussian Splatting ni iwa

Ṣiṣayẹwo 3D iyara ti awọn nkan ati awọn agbegbe lati foonu tabi fidio drone.

Ṣiṣayẹwo 3D iyara ti awọn nkan ati awọn agbegbe lati foonu tabi fidio fidio drone nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna igbega eniyan fun awọn ọran eti, ati tọpa awọn anfani iṣelọpọ mejeeji ati awọn idiyele aṣiṣe lori akoko.

Gaussian Splatting ni iwa

Ṣiṣe awọn iwoye AR/VR ibaraenisepo ti o nṣiṣẹ laisiyonu lori ohun elo olumulo.

Ṣiṣe awọn iwoye AR/VR ibaraenisepo ti o nṣiṣẹ laisiyonu lori Awọn ẹgbẹ ohun elo olumulo nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa awọn anfani iṣelọpọ mejeeji ati awọn idiyele aṣiṣe lori akoko.

Awọn ewu & Awọn ọna iṣọ

!

Awọn ẹtọ aworan ati igbanilaaye le di awọn eewu labẹ ofin ti o ba jẹ afihan.

!

Iṣe awoṣe le yatọ kọja ina, awọn ẹda eniyan, ati awọn agbegbe.

!

Awọn idaniloju eke le ma ṣe akiyesi ayafi ti a ba ṣe abojuto awọn ala igbẹkẹle.

Ilana Ilana imuse

1

Ṣetumo awọn ibeere gbigba fun pipe, iranti, ati awọn idiyele aṣiṣe.

Ṣetumo awọn ibeere gbigba fun pipe, iranti, ati awọn idiyele aṣiṣe. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.

2

Ṣe idanwo pẹlu data ti o baamu awọn ipo iṣelọpọ gidi.

Ṣe idanwo pẹlu data ti o baamu awọn ipo iṣelọpọ gidi. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.

3

Ṣafikun atunyẹwo eniyan fun igbẹkẹle kekere tabi awọn asọtẹlẹ ipa-giga.

Ṣafikun atunyẹwo eniyan fun igbẹkẹle kekere tabi awọn asọtẹlẹ ipa-giga. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.

4

Tọpinpin awoṣe ki o ṣe tunṣe lẹhin kamẹra tabi awọn ayipada datasetto.

Tọpinpin awoṣe ki o ṣe tunṣe lẹhin kamẹra tabi awọn ayipada datasetto. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.

Tesiwaju Ṣiṣawari