Nchịkọta
Marigold na-atụgharịrị ụdị mgbasa ozi-ihe onyonyo a zụrụ azụ (Stable Diffusion) iji buo maapụ omimi zuru oke. Ọ na-egosi na ị nwere ike ịtụgharị ihe ọmụma nhụsianya bara ụba nke generator ka ọ bụrụ ngwaọrụ nghọta nke nwere obere data ọzụzụ dị ịtụnanya.
Ntụle omimi nke Marigold bụ nke usoro ọrụ ọhụụ kọmputa nke na-akọwa ma ọ bụ mepụta mgbasa ozi anya maka nyocha, ọrụ na imepụta ihe.
Ime miri emi
Marigold (ETH Zurich, CVPR 2024 Kachasị Mma Akwụkwọ Ọsọpụrụ aha) na-emezi atụmatụ omimi dị ka nsogbu ọgbọ nke ọnọdụ. Kama ịzụ netwọk dị omimi site na ọkọ, ọ na-ada ụda Stable Diffusion ka ọ 'mepụta' maapụ omimi nke dabara na onyonyo ntinye. Nghọta a bụ na ihe nlereanya a zụrụ azụ iji megharịa onyonyo foto adịlarị amụtala geometry, ọkụ, na usoro n'ime oghere ya, kpọmkwem ihe mbụ bara uru maka omimi. N'ụzọ dị ịrịba ama, Marigold na-ege ntị nke ọma na naanị datasets sịntetik (dị ka Hypersim na Virtual KITTI) ma na-agbakọta nke ọma na foto efu efu. Ọ na-emepụta ịdị omimi nke affine na-enweghị atụ na nkọwa zuru oke nke ukwuu, ọ bụ ezie na nkwuputa okwu ahụ na-eme ka ọ dị nwayọ karịa ụdị ndị na-ebugharị nri dị ka DepthAnything.
Nghọta nka nka
Marigold na-arụ ọrụ na oghere nzuzo Stable Diffusion. A na-etinye ma oyiyi ahụ na maapụ omimi site na otu VAE; U-Net dị mma ka emebere ya ka ọ ghara imebi ihe omimi nke etinyere na latent onyonyo dị ọcha. N'ịtụle ya, ọ na-agba ọsọ akara akaghị aka, wee depụta akara nzuzo nke omimi. N'ihi na ọ tụrụ atụ, enwere ike ịchịkọta ọtụtụ ọsọ maka nkwụsi ike, ịgbakọ azụmaahịa maka izi ezi. Ka emechara 'LCM' na ụdị mgbagha otu nzọụkwụ wepụrụ ọtụtụ usoro mgbada ruo otu ngafe.
Ntụle omimi gbasara mgbasa Marigold
Marigold na-atụgharịrị ụdị mgbasa ozi-ihe onyonyo a zụrụ azụ (Stable Diffusion) iji buo maapụ omimi zuru oke. Ọ na-egosi na ị nwere ike ịtụgharị ihe ọmụma nhụsianya bara ụba nke generator ka ọ bụrụ ngwaọrụ nghọta nke nwere obere data ọzụzụ dị ịtụnanya. Ntụle omimi nke Marigold bụ nke usoro ọrụ ọhụụ kọmputa nke na-akọwa ma ọ bụ mepụta mgbasa ozi anya maka nyocha, ọrụ na imepụta ihe. Iji wulite nghọta miri emi, were Marigold Diffusion Depth Estimation dị ka ihe nlere anya na-arụ ọrụ, ọ bụghị otu njirimara: kọwaa nsonaazụ achọrọ, dokwuo anya echiche, wee kewaa ihe sistemụ nwere ike ime nke ọma na ihe ka na-achọ mkpebi ndị ọkachamara.
Na omume, ndị otu siri ike na-eji Marigold Diffusion Depth Estimation itule ziri ezi yana ezigbo arụmọrụ dị ka ogo data, iche iche ọkụ, na ịkpọ aha. Ha na-edepụta njirisi ịga nke ọma nke ọma, nwalee megide data ziri ezi yana usoro ọrụ, yana na-atụgharị dabere na usoro ọdịda ahụrụ karịa karịa mmeri otu oge. Nke a bụ ebe nghọta usoro ihe atụ na-atụgharị ghọọ ike na-adịgide adịgide n'ofe ngwaahịa, amụma na arụmọrụ.
Visual AI nwere ike megharịa nyocha, nchọpụta na mkpado ọrụ n'ọtụtụ. N'otu oge ahụ, ikike onyonyo na nkwenye nwere ike bụrụ ihe egwu iwu ma ọ bụrụ na edoghị anya. Ụzọ kachasị na-agbanwe agbanwe bụ ijikọ ọsọ nnwale na ịdọ aka ná ntị ọchịchị: ndị na-anya ụgbọ elu, ijide ihe akaebe, bipụta ndekọ mkpebi, na na-aga n'ihu na-emelite nchekwa dị ka omume nlereanya, atụmanya ndị ọrụ, na ihe iwu chọrọ.
Mmetụta atụmatụ
Visual AI nwere ike megharịa nyocha, nchọpụta na mkpado ọrụ n'ọtụtụ.
Visual AI nwere ike megharịa nyocha, nchọpụta na mkpado ọrụ n'ọtụtụ. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Otu ndị na-emepụta ihe nwere ike imepụta echiche ngwa ngwa site na ngbanwe akwụkwọ ntuziaka ole na ole.
Otu ndị na-emepụta ihe nwere ike imepụta echiche ngwa ngwa site na ngbanwe akwụkwọ ntuziaka ole na ole. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Ọrụ nwere ike iji onyonyo na akara vidiyo siri ike ịhazi.
Ọrụ nwere ike iji onyonyo na akara vidiyo siri ike ịhazi. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Mmejuputa n'ezie n'ụwa
Na-ewepụta omimi dị mma site na foto ụkpụrụ ụlọ na ngwaahịa maka nlegharị anya na ịkwa emo 3D.
Ịmepụta maapụ omimi zuru oke ejiri dị ka ihe ndozi maka onyonyo na ọgbọ vidiyo nwere ike ịchịkwa.
Ihe nkiri na-enyere aka na ndị otu VFX na matte na parallax na-arụ ọrụ ebe njedebe dị oke mkpa.
Na-eje ozi dị ka ntọala nyocha na-egosi otu esi eme mgbanwe maka nrụpụta tupu arụ ọrụ ibu amụma.
Usoro mmejuputa
Ntụle omimi nke Marigold na omume
Na-ewepụta omimi dị mma site na foto ụkpụrụ ụlọ na ngwaahịa maka nlegharị anya na ịkwa emo 3D.
Ịwepụta ihe omimi dị mma site na foto ụlọ na ngwaahịa maka ịcha ọkụ na ihe ọchị 3D Otu egwuregwu na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ dịkwuo elu maka ikpe ikpe, ma soro ma uru mmepụta na ụgwọ njehie na oge.
Ntụle omimi nke Marigold na omume
Ịmepụta maapụ omimi zuru oke ejiri dị ka ihe ndozi maka onyonyo na ọgbọ vidiyo nwere ike ịchịkwa.
Ịmepụta maapụ omimi zuru oke nke ejiri dị ka ihe ndozi maka onyonyo a na-achịkwa na ọgbọ vidiyo na-enwetakarị nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, debe ụzọ ịrị elu mmadụ maka ikpe ọnụ, ma soro ma uru nrụpụta yana ụgwọ njehie n'ime oge.
Ntụle omimi nke Marigold na omume
Ihe nkiri na-enyere aka na ndị otu VFX na matte na parallax na-arụ ọrụ ebe njedebe dị oke mkpa.
Ihe nkiri na-enyere aka na ndị otu VFX na matte na parallax na-arụ ọrụ ebe ihe ndị na-arụ ọrụ nke ọma na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ dịkwuo elu maka ikpe ikpe, ma soro ma uru nrụpụta na ụgwọ njehie na oge.
Ntụle omimi nke Marigold na omume
Na-eje ozi dị ka ntọala nyocha na-egosi otu esi eme mgbanwe maka nrụpụta tupu arụ ọrụ ibu amụma.
Ije ozi dị ka usoro nyocha nke na-egosi otu esi eme mgbanwe maka nrụpụta tupu ọrụ amụma buru ibu Otu dị iche iche na-enweta nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-edobe ụzọ ịrị elu mmadụ maka oke ikpe, ma soro ma uru nrụpụta na ụgwọ njehie n'ime oge.
Ihe ize ndụ & okporo ụzọ nche
Ikike onyonyo na nkwenye nwere ike bụrụ ihe egwu dị n'iwu ma ọ bụrụ na edoghị anya.
Ọrụ nlereanya nwere ike ịdịgasị iche n'ofe ọkụ, igwe mmadụ, na gburugburu.
Enwere ike ghara ịhụ ihe dị mma ma ọ bụrụ na enyochaghị oke ntụkwasị obi.
Map mmejuputa
Kọwaa ụkpụrụ nnabata maka nkenke, icheta, na ụgwọ njehie.
Kọwaa ụkpụrụ nnabata maka nkenke, icheta, na ụgwọ njehie. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Nwalee na data dabara na ọnọdụ mmepụta n'ezie.
Nwalee na data dabara na ọnọdụ mmepụta n'ezie. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Tinye nyocha mmadụ maka obere obi ike ma ọ bụ amụma mmetụta dị elu.
Tinye nyocha mmadụ maka obere obi ike ma ọ bụ amụma mmetụta dị elu. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Sochie ihe nlere anya wee megharịa ka emechara mgbanwe igwefoto ma ọ bụ dataset.
Sochie ihe nlere anya wee megharịa ka emechara mgbanwe igwefoto ma ọ bụ dataset. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.