Visual AI GUIDE

Gaussian Splatting

Gaussian Splatting na-anọchi anya ihe nkiri 3D dị ka nde obere obere, agba, nke nwere ike ịsụgharị ya ozugbo.

Nchịkọta

Gaussian Splatting na-anọchi anya ihe nkiri 3D dị ka nde obere obere, agba, nke nwere ike ịsụgharị ya ozugbo. Ọ na-enye NeRF dị ka fotorealism ka ọ na-agba ọsọ ọsọ maka ikiri mmekọrịta.

Gaussian Splatting bụ nke kọmpụta na-arụ ọrụ ọhụụ nke na-akọwa ma ọ bụ mepụta mgbasa ozi anya maka nyocha, arụmọrụ, na imepụta ihe.

Ime miri emi

Ewebatara na SIGGRAPH 2023, 3D Gaussian Splatting na-ewughachi ihe onyonyo sitere na foto dị ka NeRF mana ọ na-eji ngosipụta doro anya kama netwọọkụ akwara zoro ezo. Ihe nkiri ọ bụla bụ igwe ojii nke Gaussians 3D, blobs ellipsoidal na-enweghị isi, na blob nke ọ bụla na-echekwa ọnọdụ, nha na nghazi (nkwekọrịta ya), opacity, na agba. Kama iji nwayọọ na-agbapụ ụzarị ọkụ site na netwọk, usoro a "splats" ndị a blobs ozugbo na ihuenyo wee jikọta ha, usoro dị nso na rasterization omenala na ya mere ngwa ngwa. Ọzụzụ na-amalite site na igwe ojii na-adịghị ahụkebe nke nhazi igwefoto na-emepụta, wee na-ebuli blobs ahụ ka ọ na-agbakwụnye nkọwa zuru ezu ebe ebe a na-arụzigharị ihe ahụ na ịkwachaa ebe ndị mmadụ juru. Nsonaazụ a na-enye ezigbo oge na 1080p na ịdị mma na-emegide NeRF kacha mma, nke mere o ji gbasaa ngwa ngwa site na eserese na ngwa ngwa.

Nghọta nka nka

Isi ihe bụ rasterizer dabere na taịlị dị iche. A na-atụ anya na ndị Gauss 3D ga-abụ 2D, hazie ya site na omimi, yana alfa-agwakọta kwa taịlị ihuenyo, yabụ inyefe na-ezere ngagharị ray nke ọ bụla na-eme NeRF nwayọ. A na-echekwa agba ya na harmonics dị okirikiri, na-eme ka blob ọ bụla gbanwee ọdịdị ya na akụkụ nlele iji weghara ntụgharị uche. N'ihi na pipeline dum dị iche, otu foto gradient nke NeRF na-eji na-ebuli ọnọdụ, ọdịdị, opacities, na agba, ebe nzọụkwụ densification na-eto ma ọ bụ kewaa Gaussians iji gbakwunye nkọwa efu.

Ịkụzi Gaussian Splatting

Gaussian Splatting na-anọchi anya ihe nkiri 3D dị ka nde obere obere, agba, nke nwere ike ịsụgharị ya ozugbo. Ọ na-enye NeRF dị ka fotorealism ka ọ na-agba ọsọ ọsọ maka ikiri mmekọrịta. Gaussian Splatting bụ nke kọmpụta na-arụ ọrụ ọhụụ nke na-akọwa ma ọ bụ mepụta mgbasa ozi anya maka nyocha, arụmọrụ, na imepụta ihe. Iji wuo nghọta miri emi, na-emeso Gaussian Splating dị ka ihe nlereanya na-arụ ọrụ, ọ bụghị otu njirimara: kọwaa nsonaazụ achọrọ, dokwuo anya echiche, ma kewaa ihe usoro ahụ nwere ike ime nke ọma na ihe ka na-achọ mkpebi ndị ọkachamara.

Na omume, ndị otu siri ike na-eji Gaussian Splatting nguzozi ziri ezi na eziokwu arụ ọrụ dị ka ogo data, iche iche ọkụ, na ịkpọ aha. Ha na-edepụta njirisi ịga nke ọma nke ọma, nwalee megide data ziri ezi yana usoro ọrụ, yana na-atụgharị dabere na usoro ọdịda ahụrụ karịa karịa mmeri otu oge. Nke a bụ ebe nghọta usoro ihe atụ na-atụgharị ghọọ ike na-adịgide adịgide n'ofe ngwaahịa, amụma na arụmọrụ.

Visual AI nwere ike megharịa nyocha, nchọpụta na mkpado ọrụ n'ọtụtụ. N'otu oge ahụ, ikike onyonyo na nkwenye nwere ike bụrụ ihe egwu iwu ma ọ bụrụ na edoghị anya. Ụzọ kachasị na-agbanwe agbanwe bụ ijikọ ọsọ nnwale na ịdọ aka ná ntị ọchịchị: ndị na-anya ụgbọ elu, ijide ihe akaebe, bipụta ndekọ mkpebi, na na-aga n'ihu na-emelite nchekwa dị ka omume nlereanya, atụmanya ndị ọrụ, na ihe iwu chọrọ.

Mmetụta atụmatụ

Visual AI nwere ike megharịa nyocha, nchọpụta na mkpado ọrụ n'ọtụtụ.

Visual AI nwere ike megharịa nyocha, nchọpụta na mkpado ọrụ n'ọtụtụ. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.

Otu ndị na-emepụta ihe nwere ike imepụta echiche ngwa ngwa site na ngbanwe akwụkwọ ntuziaka ole na ole.

Otu ndị na-emepụta ihe nwere ike imepụta echiche ngwa ngwa site na ngbanwe akwụkwọ ntuziaka ole na ole. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.

Ọrụ nwere ike iji onyonyo na akara vidiyo siri ike ịhazi.

Ọrụ nwere ike iji onyonyo na akara vidiyo siri ike ịhazi. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.

Ọdịnihu nke Gaussian Splatting

Gaussian Splating na-aga ngwa ngwa site na nyocha n'ime ngwaahịa maka ijide 3D, eserese eserese, na mmepụta mebere, otu akụkụ n'ihi na ọ na-enye ezigbo oge na GPU ndị ahịa na ọbụna ihe nchọgharị. Ebumnuche na-arụ ọrụ na-arụsi ọrụ ike na-ebelata nha faịlụ (ihe nkiri nwere ike ibu ibu), ijikwa ihe nkiri na-akpali akpali na ihe nkiri, na-enye ọkụ, na dezie ihe ọ bụla. Na-atụ anya njikọta siri ike na igwe egwuregwu na AR/VR, ụzọ ngwakọ na-ejikọta spplats na meshes, na ijide vidiyo ekwentị. A na-ahụta ya dị ka ihe mgbakwunye bara uru na, ma ọ bụ nnọchi maka NeRF ebe ọ bụla ọsọ mmekọrịta dị mkpa.

Mmejuputa n'ezie n'ụwa

Ịmepụta ezigbo oge, ihe ngosi 3D nke ime ụlọ ma ọ bụ ngwaahịa maka webụ

Mmepụta mebere na ihe nkiri na-ebu ụzọ hụ ya na nhazi foto, nke nwere ike ịnyagharị

Nyocha ngwa ngwa 3D nke ihe na gburugburu site na ekwentị ma ọ bụ vidiyo drone

Iwulite ihe nkiri AR/VR na-emekọrịta ihe nke na-aga nke ọma na ngwaike ndị ahịa

Usoro mmejuputa

Gaussian Splatting na omume

Ịmepụta ezigbo oge, ihe ngosi 3D nke ime ụlọ ma ọ bụ ngwaahịa maka webụ.

Ịmepụta ezigbo oge, ihe nyocha 3D nke ụlọ ma ọ bụ ngwaahịa maka ndị otu weebụ na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ dịkwuo elu maka ikpe ikpe, ma soro ma uru mmepụta na ụgwọ njehie na oge.

Gaussian Splatting na omume

Mmepụta mebere na ihe nkiri na-ebu ụzọ hụ ya na nhazi foto, nke nwere ike ịnyagharị.

Mmepụta Virtual na previsualization nke ihe nkiri na foto ezi uche, navigable sets Otu na-enwetakarị nsonaazụ ka mma mgbe ha kọwapụtara ọnụ ụzọ dị mma n'ihu, debe ụzọ mmụba mmadụ maka ikpe ọnụ, wee soro ma uru nrụpụta yana ụgwọ njehie n'oge.

Gaussian Splatting na omume

Nyocha ngwa ngwa 3D nke ihe na gburugburu site na ekwentị ma ọ bụ vidiyo drone.

Nyocha ngwa ngwa 3D nke ihe na gburugburu site na ekwentị ma ọ bụ vidiyo vidiyo Drone na-enwetakarị nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka oke ọnụ, ma soro ma uru nrụpụta yana ọnụ ahịa njehie ka oge na-aga.

Gaussian Splatting na omume

Iwulite ihe nkiri AR/VR na-emekọrịta ihe nke na-aga nke ọma na ngwaike ndị ahịa.

Iwulite ihe nkiri AR/VR na-emekọrịta ihe nke na-arụ ọrụ nke ọma na ndị otu ngwaike ndị ahịa na-enwetakarị nsonaazụ kacha mma mgbe ha kọwapụtara ọnụ ụzọ dị mma n'ihu, debe ụzọ mmụba mmadụ maka ikpe ọnụ, wee soro ma uru nrụpụta yana ọnụ ahịa njehie ka oge na-aga.

Ihe ize ndụ & okporo ụzọ nche

!

Ikike onyonyo na nkwenye nwere ike bụrụ ihe egwu dị n'iwu ma ọ bụrụ na edoghị anya.

!

Ọrụ nlereanya nwere ike ịdịgasị iche n'ofe ọkụ, igwe mmadụ, na gburugburu.

!

Enwere ike ghara ịhụ ihe dị mma ma ọ bụrụ na enyochaghị oke ntụkwasị obi.

Map mmejuputa

1

Kọwaa ụkpụrụ nnabata maka nkenke, icheta, na ụgwọ njehie.

Kọwaa ụkpụrụ nnabata maka nkenke, icheta, na ụgwọ njehie. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.

2

Nwalee na data dabara na ọnọdụ mmepụta n'ezie.

Nwalee na data dabara na ọnọdụ mmepụta n'ezie. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.

3

Tinye nyocha mmadụ maka obere obi ike ma ọ bụ amụma mmetụta dị elu.

Tinye nyocha mmadụ maka obere obi ike ma ọ bụ amụma mmetụta dị elu. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.

4

Sochie ihe nlere anya wee megharịa ka emechara mgbanwe igwefoto ma ọ bụ dataset.

Sochie ihe nlere anya wee megharịa ka emechara mgbanwe igwefoto ma ọ bụ dataset. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.

Nọgide na-eme nchọpụta