Nchịkọta
DreamFusion na-ewepụta ihe 3D site na ederede site na iji ụdị mgbasa ozi onyonyo 2D dị ka onye nkatọ, ọ nweghị ọzụzụ na data 3D ọ bụla. Isi ihe mepụtara, Score Distillation Sampling, ghọrọ nhazi ntọala maka mpaghara ederede-gaa-3D dum.
DreamFusion na Score Distillation Sampling bụ nke na-arụ ọrụ n'ọhụụ kọmputa nke na-akọwa ma ọ bụ na-emepụta mgbasa ozi anya maka nyocha, ọrụ na mmepụta ihe.
Ime miri emi
DreamFusion, sitere na Google na 2022, jụrụ: ọ nwere ike na ụdị ederede gaa na onyonyo 2D kụziere ihe nkiri 3D ka ọ dị mma site n'akụkụ ọ bụla? Ọ na-ebuli NeRF (Neural Radiance Field) ka ntụgharị sitere na nlele igwefoto enweghị usoro, mgbe a na-eme mkpọtụ ma gosi ya na ụdị mgbasa ozi oyi kpọnwụrụ (Imagen), akara dị ka onyonyo nwere ezi uche maka ngwa ngwa ederede. N'ụzọ dị mkpa ọ naghị eji data ọzụzụ 3D. Ọganihu a bụ Score Distillation Sampling (SDS): kama ịgbasa site na U-Net dị oke ọnụ nke ụdị mgbasa ozi, SDS na-eji mkpọtụ amụma amụma dị ka mgbama gradient ozugbo na pikselụ egosipụtara. Ikwugharị nke a n'ofe puku kwuru puku echiche na-akpụpụta akụ 3D na-arụkọ ọrụ ọnụ, juputara na geometry na ọdịdị dabere na nlele, site na otu ahịrịokwu.
Nghọta nka nka
SDS na-ewere ụdị mgbasa ozi dị ka ọrụ akara oyi kpọnwụrụ akpọnwụ. Ọ na-atụgharị NeRF, na-agbakwụnye mkpọtụ, na-arịọ U-Net mgbasa ozi ka ọ buru amụma mkpọtụ ahụ, ma na-agbakọ gradient dị ka (mkpọtụ amụma na-ebelata mkpọtụ agbakwunyere) na-atụgharị azụ na onyinyo ahụ egosipụtara ma si otú a na-atụle NeRF. Ịwụfe U-Net Jacobian na-eme ka ọ dị mfe traktị. Ntuzi aka na-enweghị nkewa dị elu (ihe dị ka 100) ka achọrọ maka nsonaazụ dị nkọ, nke na-ebute njirimara ahụ jujuru oke, mgbe ụfọdụ na-adịghị ahụkebe 'DreamFusion anya.'
Nna-ukwu DreamFusion na akara distillation sampling
DreamFusion na-ewepụta ihe 3D site na ederede site na iji ụdị mgbasa ozi onyonyo 2D dị ka onye nkatọ, ọ nweghị ọzụzụ na data 3D ọ bụla. Isi ihe mepụtara, Score Distillation Sampling, ghọrọ nhazi ntọala maka mpaghara ederede-gaa-3D dum. DreamFusion na Score Distillation Sampling bụ nke na-arụ ọrụ n'ọhụụ kọmputa nke na-akọwa ma ọ bụ na-emepụta mgbasa ozi anya maka nyocha, ọrụ na mmepụta ihe. Iji wulite nghọta miri emi, na-emeso DreamFusion na Score Distillation Sampling dị ka ihe nlereanya na-arụ ọrụ, ọ bụghị otu njirimara: kọwaa nsonaazụ achọrọ, dokwuo anya echiche, ma kewaa ihe sistemụ nwere ike ime nke ọma na ihe ka na-achọ mkpebi ndị ọkachamara.
Na omume, ndị otu siri ike na-eji DreamFusion na Score Distillation Sampling nguzozi nguzozi na eziokwu arụ ọrụ dị ka ogo data, iche iche ọkụ, na ịkpọ aha. Ha na-edepụta njirisi ịga nke ọma nke ọma, nwalee megide data ziri ezi yana usoro ọrụ, yana na-atụgharị dabere na usoro ọdịda ahụrụ karịa karịa mmeri otu oge. Nke a bụ ebe nghọta usoro ihe atụ na-atụgharị ka ọ bụrụ ike na-adịgide adịgide gafee ngwaahịa, amụma na arụmọrụ.
Visual AI nwere ike megharịa nyocha, nchọpụta na mkpado ọrụ n'ọtụtụ. N'otu oge ahụ, ikike onyonyo na nkwenye nwere ike bụrụ ihe egwu iwu ma ọ bụrụ na edoghị anya. Ụzọ kachasị na-agbanwe agbanwe bụ ijikọ ọsọ nnwale na ịdọ aka ná ntị ọchịchị: ndị na-anya ụgbọ elu, ijide ihe akaebe, bipụta ndekọ mkpebi, na na-aga n'ihu na-emelite nchekwa dị ka omume nlereanya, atụmanya ndị ọrụ, na ihe iwu chọrọ.
Mmetụta Strategic
Visual AI nwere ike megharịa nyocha, nchọpụta na mkpado ọrụ n'ọtụtụ.
Visual AI nwere ike megharịa nyocha, nchọpụta na mkpado ọrụ n'ọtụtụ. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Otu ndị na-emepụta ihe nwere ike imepụta echiche ngwa ngwa site na ngbanwe akwụkwọ ntuziaka ole na ole.
Otu ndị na-emepụta ihe nwere ike imepụta echiche ngwa ngwa site na ngbanwe akwụkwọ ntuziaka ole na ole. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Ọrụ nwere ike iji onyonyo na akara vidiyo siri ike ịhazi.
Ọrụ nwere ike iji onyonyo na akara vidiyo siri ike ịhazi. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Mmejuputa n'ezie n'ụwa
Ịmepụta ụdị 3D nke 'foto DSLR nke squirrel yi obere okpu' site na ederede naanị
Ịmepụta ihe egwuregwu na akụrụngwa AR na-enweghị ihe osise 3D ntuziaka
Na-emepụta meshes enwere ike ịpụpụ nke ndị na-ese ihe na-emecha kama ịrụpụta site na ọkọ
Usoro nyocha maka nyocha ụzọ ederede-gaa-3D ọhụrụ megide SDS
Usoro mmejuputa
DreamFusion na Score Distillation Sampling na omume
Ịmepụta ụdị 3D nke 'foto DSLR nke squirrel yi obere okpu' site na ederede naanị.
Ịmepụta ụdị 3D nke 'foto DSLR nke squirrel na-eyi obere okpu' site na ederede naanị Otu dị iche iche na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka ọnụ ọnụ, ma soro ma uru nrụpụta na ụgwọ njehie na oge.
DreamFusion na Score Distillation Sampling na omume
Ịmepụta ihe egwuregwu na akụrụngwa AR na-enweghị ihe osise 3D ntuziaka.
Ịmepụta egwuregwu egwuregwu na akụ AR na-enweghị akwụkwọ ntuziaka 3D otu egwuregwu na-enwetakarị nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, debe ụzọ mmụba mmadụ maka oke ọnụ, wee soro ma uru nrụpụta yana ụgwọ njehie n'ime oge.
DreamFusion na Score Distillation Sampling na omume
Na-emepụta meshes enwere ike ịpụpụ nke ndị na-ese ihe na-emecha kama ịrụpụta site na ọkọ.
Imepụta meshes mbupụ nke ndị na-ese ihe na-anụcha kama iwulite site na ọkọ otu na-enwetakarị nsonaazụ kacha mma mgbe ha kọwapụtara ọnụ ụzọ dị mma n'ihu, debe ụzọ mmụba mmadụ maka oke ikpe, ma soro ma uru nrụpụta yana ụgwọ njehie n'ime oge.
DreamFusion na Score Distillation Sampling na omume
Usoro nyocha maka nyocha ụzọ ederede-gaa-3D ọhụrụ megide SDS.
Usoro nyocha maka ịtụle ụzọ ederede-ga-3D ọhụrụ megide ndị otu SDS na-enwetakarị nsonaazụ ka mma mgbe ha kọwapụtara ọnụ ụzọ dị mma n'ihu, debe ụzọ ịrị elu mmadụ maka oke ikpe, wee soro ma uru nrụpụta yana ọnụ ahịa njehie ka oge na-aga.
Ihe ize ndụ & okporo ụzọ nche
Ikike onyonyo na nkwenye nwere ike bụrụ ihe egwu dị n'iwu ma ọ bụrụ na edoghị anya.
Ọrụ nlereanya nwere ike ịdịgasị iche n'ofe ọkụ, igwe mmadụ, na gburugburu.
Enwere ike ghara ịhụ ihe dị mma ma ọ bụrụ na enyochaghị oke ntụkwasị obi.
Map mmejuputa
Kọwaa ụkpụrụ nnabata maka nkenke, icheta, na ụgwọ njehie.
Kọwaa ụkpụrụ nnabata maka nkenke, icheta, na ụgwọ njehie. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Nwalee na data dabara na ọnọdụ mmepụta n'ezie.
Nwalee na data dabara na ọnọdụ mmepụta n'ezie. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Tinye nyocha mmadụ maka obere obi ike ma ọ bụ amụma mmetụta dị elu.
Tinye nyocha mmadụ maka obere obi ike ma ọ bụ amụma mmetụta dị elu. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Sochie ihe nlere anya wee megharịa ka emechara mgbanwe igwefoto ma ọ bụ dataset.
Sochie ihe nlere anya wee megharịa ka emechara mgbanwe igwefoto ma ọ bụ dataset. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.