Gaussian Splatting
Gaussian Splatting ṣe aṣoju iṣẹlẹ 3D kan bi awọn miliọnu kekere, awọ, awọn blobs ologbele-sihin ti o le ṣe ni akoko gidi.
Akopọ
It delivers NeRF-like photorealism while running fast enough for interactive viewing.
Jin Dive
Iṣagbekalẹ ni SIGGRAPH 2023, 3D Gaussian Splatting ṣe atunto awọn iwoye lati awọn fọto bii NeRF ṣugbọn o nlo aṣoju ti o fojuhan dipo nẹtiwọọki nkankikan ti o farapamọ. Oju iṣẹlẹ kọọkan jẹ awọsanma ti awọn Gaussians 3D, iruju ellipsoidal blobs, ati blob kọọkan tọju ipo kan, iwọn ati iṣalaye (ajọpọ rẹ), opacity, ati awọ. Dipo ti awọn eegun titu laiyara nipasẹ nẹtiwọọki kan, ọna “splats” awọn blobs wọnyi taara si iboju ki o dapọ wọn, ilana ti o sunmọ rasterization ibile ati nitorinaa iyara pupọ. Ikẹkọ bẹrẹ lati awọsanma aaye fọnka ti o ṣejade nipasẹ isọdiwọn kamẹra, lẹhinna mu awọn bulọọki pọ si lakoko ti o nfi awọn alaye kun ni ibamu si ibiti iṣẹlẹ naa ti wa labẹ atunto ati gige ni ibiti o ti pọ si. Abajade jẹ atunṣe akoko gidi ni 1080p pẹlu idije didara julọ awọn NeRFs ti o dara julọ, eyiti o jẹ idi ti o fi tan kaakiri nipasẹ awọn eya aworan ati awọn irinṣẹ imudani.
Imọ-imọ-ẹrọ
Bọtini naa jẹ rasterizer ti o da lori tile ti o yatọ. Awọn Gaussians 3D ti jẹ iṣẹ akanṣe si 2D, lẹsẹsẹ nipasẹ ijinle, ati alfa-parapo fun tile iboju, nitorinaa fifunni yago fun lilọ kiri ray-pixel ti o jẹ ki NeRF lọra. Awọ ti wa ni ipamọ pẹlu awọn irẹpọ iyipo, jẹ ki blob kọọkan yipada irisi pẹlu igun wiwo lati mu awọn iweyinpada. Nitoripe gbogbo opo gigun ti epo jẹ iyatọ, iru-idiwọn isọdọtun fọto kanna ti o lo nipasẹ NeRF ṣe iṣapeye awọn ipo blob, awọn apẹrẹ, awọn opacities, ati awọn awọ, lakoko ti igbesẹ densification kan dagba tabi pin Gaussians lati ṣafikun awọn alaye ti o padanu.
Ipa Ilana
Iyara ati iwọn
Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn.
Kọ awọn yiyan
Awọn ẹgbẹ ẹda le ṣe apẹrẹ awọn imọran yiyara pẹlu awọn atunyẹwo afọwọṣe diẹ.
Ẹgbẹ ati ṣiṣan iṣẹ
Awọn iṣẹ ṣiṣe le lo aworan ati awọn ifihan agbara fidio ti o nira tẹlẹ lati ṣiṣẹ.
Ojo iwaju ti Gaussian Splatting
Gaussian Splatting n gbe ni iyara lati iwadii sinu awọn ọja fun gbigba 3D, aworan agbaye, ati iṣelọpọ foju, ni apakan nitori pe o ṣe ni akoko gidi lori awọn GPU olumulo ati paapaa awọn aṣawakiri. Awọn ibi-afẹde iṣẹ ti nṣiṣe lọwọ idinku awọn iwọn faili (awọn iwoye le jẹ nla), mimu mimu agbara ati awọn iwoye ere idaraya, didan, ati ṣiṣatunṣe awọn nkan kọọkan. Reti isọpọ titọ pẹlu awọn ẹrọ ere ati AR/VR, awọn ọna arabara ti o ṣajọpọ awọn splats pẹlu awọn meshes, ati gbigba lati fidio foonu. O ti wa ni ri siwaju sii bi iranlowo to wulo si, tabi rirọpo fun, NeRF nibikibi ti iyara ibanisọrọ ọrọ.
Real-World imuse
Ṣiṣẹda akoko gidi, awọn iyaworan 3D ti o ṣawari ti awọn yara tabi awọn ọja fun wẹẹbu
Ṣiṣẹjade foju ati iṣaju fiimu pẹlu fọtoyiya, awọn eto lilọ kiri
Ṣiṣayẹwo 3D iyara ti awọn nkan ati awọn agbegbe lati foonu tabi fidio drone
Ṣiṣe awọn iwoye AR/VR ibaraenisepo ti o nṣiṣẹ laisiyonu lori ohun elo olumulo
Awọn ewu & Awọn ọna iṣọ
Awọn ẹtọ aworan ati igbanilaaye le di awọn eewu labẹ ofin ti o ba jẹ afihan.
Iṣe awoṣe le yatọ kọja ina, awọn ẹda eniyan, ati awọn agbegbe.
Awọn idaniloju eke le ma ṣe akiyesi ayafi ti a ba ṣe abojuto awọn ala igbẹkẹle.
Ilana Ilana imuse
Ṣetumo awọn ibeere gbigba fun pipe, iranti, ati awọn idiyele aṣiṣe.
Ṣe idanwo pẹlu data ti o baamu awọn ipo iṣelọpọ gidi.
Ṣafikun atunyẹwo eniyan fun igbẹkẹle kekere tabi awọn asọtẹlẹ ipa-giga.
Tọpinpin awoṣe ki o ṣe tunṣe lẹhin kamẹra tabi awọn ayipada datasetto.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Gaussian Splatting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Awọn ilana Gaussian
Awọn ibeere ti a beere nigbagbogbo
What is Gaussian Splatting?
Gaussian Splatting ṣe aṣoju iṣẹlẹ 3D kan bi awọn miliọnu kekere, awọ, awọn blobs ologbele-sihin ti o le ṣe ni akoko gidi. O ṣe igbasilẹ NeRF-bi photorealism lakoko ti o nṣiṣẹ ni iyara to fun wiwo ibanisọrọ.
Bawo ni Gaussian Splatting ṣe aṣoju iṣẹlẹ 3D kan?
Ipele naa jẹ awọsanma ti o han gbangba ti awọn Gaussians 3D, ọkọọkan ellipsoid iruju pẹlu ipo, apẹrẹ, opacity, ati awọ.
Kini idi ti Gaussian Splatting yiyara pupọ lati funni ju NeRF atilẹba lọ?
Ṣiṣẹda ati idapọmọra awọn blobs nipasẹ rasterization ti o da lori tile yago fun lilọ lọra NeRF fun-pixel ray marching, mu awọn iyara akoko gidi ṣiṣẹ.
Alaye wo ni ile itaja Gaussian 3D kọọkan?
Bọọlu kọọkan n gbe ipo kan, isomọ kan (iwọn ati iṣalaye), opacity, ati alaye awọ.
Kini a lo lati jẹ ki awọ blob kan yipada pẹlu igun wiwo?
Awọ ti wa ni koodu pẹlu awọn harmonics iyipo, nitorinaa Gaussian kọọkan le han yatọ si awọn itọnisọna oriṣiriṣi, yiya awọn iweyinpada.
Bawo ni ikẹkọ igbagbogbo bẹrẹ ni Gaussian Splatting?
O bẹrẹ pẹlu awọn aaye fọnka lati isọdiwọn kamẹra-iṣipopada, lẹhinna mu Gaussians dara si lati ibẹ.