Muhtasari
DreamFusion hutengeneza vipengee vya 3D kutoka kwa maandishi kwa kutumia kielelezo cha uenezaji wa taswira ya P2 kama mkosoaji, kamwe hajifunzi kwenye data yoyote ya 3D. Uvumbuzi wake wa kimsingi, Sampuli ya Unyunyushaji Alama, ukawa kichocheo cha msingi cha uga mzima wa maandishi-hadi-3D.
Sampuli ya DreamFusion na Score Distillation ni ya mtiririko wa maono ya kompyuta ambayo hutafsiri au kutoa midia ya kuona kwa uchanganuzi, utendakazi na ubunifu.
Dive ya kina
DreamFusion, kutoka Google mwaka wa 2022, aliuliza: je, muundo wa 2D wa kubadilisha maandishi hadi picha unaweza kufundisha onyesho la 3D kutazama kutoka kila pembe? Inaboresha NeRF (Uga wa Neural Radiance) ili uwasilishaji kutoka kwa mitazamo ya kamera nasibu, inapopigwa kelele na kuonyeshwa kwa muundo wa usambaaji ulioganda (Picha), alama kama picha zinazowezekana kwa haraka ya maandishi. Muhimu haitumii data ya mafunzo ya 3D. Mafanikio ni Sampuli ya Unereka wa Alama (SDS): badala ya kueneza nyuma kupitia U-Net ghali ya modeli ya uenezaji, SDS hutumia kelele iliyotabiriwa ya muundo kama ishara ya gradient moja kwa moja kwenye pikseli zinazotolewa. Kurudia hili katika maelfu ya mitazamo huchonga kipengee shirikishi cha 3D, kilicho kamili na jiometri na mwonekano unaotegemea mwonekano, kutoka kwa sentensi moja.
Ufahamu wa Kiufundi
SDS huchukulia muundo wa uenezaji kama kipengele cha alama kilichogandishwa. Inatoa NeRF, inaongeza kelele, inauliza uenezaji wa U-Net kutabiri kelele hiyo, na kukokotoa mwinuko kama (kelele iliyotabiriwa kutoa kelele iliyoongezwa) kusukumwa nyuma kwenye picha iliyotolewa na kwa hivyo uzani wa NeRF. Kuruka U-Net Jacobian huifanya ivutie. Uelekezo wa hali ya juu usio na kiainishaji (karibu 100) unahitajika kwa matokeo makali, ambayo husababisha sifa iliyojaa kupita kiasi, wakati mwingine 'DreamFusion look.'
Kujua DreamFusion na Sampuli za Urembeshaji Alama
DreamFusion hutengeneza vipengee vya 3D kutoka kwa maandishi kwa kutumia kielelezo cha uenezaji wa taswira ya P2 kama mkosoaji, kamwe hajifunzi kwenye data yoyote ya 3D. Uvumbuzi wake wa kimsingi, Sampuli ya Unyunyushaji Alama, ukawa kichocheo cha msingi cha uga mzima wa maandishi-hadi-3D. Sampuli ya DreamFusion na Score Distillation ni ya mtiririko wa maono ya kompyuta ambayo hutafsiri au kutoa midia ya kuona kwa uchanganuzi, utendakazi na ubunifu. Ili kujenga uelewa wa kina, chukulia Sampuli ya DreamFusion na Alama kama kielelezo cha uendeshaji, si kipengele kimoja: fafanua matokeo unayotaka, fafanua mawazo, na utenganishe kile ambacho mfumo unaweza kufanya kwa uhakika na kile ambacho bado kinahitaji uamuzi wa kitaalamu.
Katika mazoezi, timu dhabiti zinazotumia DreamFusion na Usahihi wa Sampuli ya Utoaji wa Alama na hali halisi ya uendeshaji kama vile ubora wa data, tofauti ya mwanga na uthabiti wa lebo. Huandika vigezo dhahiri vya kufaulu, kujaribu dhidi ya data halisi na mtiririko wa kazi, na kurudia kulingana na mifumo ya kushindwa iliyoonekana badala ya ushindi wa mara moja wa benchmark. Hapa ndipo uelewa wa kinadharia unapogeuka kuwa uwezo wa kudumu katika bidhaa, sera na uendeshaji.
Visual AI inaweza kufanya ukaguzi, ugunduzi na kazi za kuweka lebo kiotomatiki kwa kiwango. Wakati huo huo, haki za picha na idhini zinaweza kuwa hatari za kisheria ikiwa asili haiko wazi. Mbinu thabiti zaidi ni kuchanganya kasi ya majaribio na nidhamu ya utawala: kuendesha majaribio, kunasa ushahidi, kuchapisha kumbukumbu za maamuzi, na kuendelea kusasisha ulinzi huku tabia ya kielelezo, matarajio ya watumiaji na mahitaji ya udhibiti yanapobadilika.
Athari za kimkakati
Visual AI inaweza kufanya ukaguzi, ugunduzi na kazi za kuweka lebo kiotomatiki kwa kiwango.
Visual AI inaweza kufanya ukaguzi, ugunduzi na kazi za kuweka lebo kiotomatiki kwa kiwango. Katika utumaji wa ubora wa juu, hii inatafsiriwa katika sheria zinazoweza kupimika za uendeshaji, mipaka ya umiliki, na desturi za ukaguzi wa mara kwa mara ili timu ziweze kuongeza imani badala ya kuongeza utata.
Timu bunifu zinaweza kuiga dhana kwa haraka zaidi na masahihisho machache ya mikono.
Timu bunifu zinaweza kuiga dhana kwa haraka zaidi na masahihisho machache ya mikono. Katika utumaji wa ubora wa juu, hii inatafsiriwa katika sheria zinazoweza kupimika za uendeshaji, mipaka ya umiliki, na desturi za ukaguzi wa mara kwa mara ili timu ziweze kuongeza imani badala ya kuongeza utata.
Uendeshaji unaweza kutumia ishara za picha na video ambazo hapo awali zilikuwa ngumu kuchakata.
Uendeshaji unaweza kutumia ishara za picha na video ambazo hapo awali zilikuwa ngumu kuchakata. Katika utumaji wa ubora wa juu, hii inatafsiriwa katika sheria zinazoweza kupimika za uendeshaji, mipaka ya umiliki, na desturi za ukaguzi wa mara kwa mara ili timu ziweze kuongeza imani badala ya kuongeza utata.
Utekelezaji wa Ulimwengu Halisi
Inazalisha muundo wa 3D wa 'picha ya DSLR ya squirrel aliyevaa kofia ndogo' kutoka kwa maandishi pekee
Kuunda rasimu ya mchezo na vipengee vya Uhalisia Pepe bila uchongaji wa mikono wa 3D
Inazalisha meshes zinazoweza kuhamishwa ambazo wasanii huboresha badala ya kujenga kutoka mwanzo
Utafiti wa misingi ya kutathmini mbinu mpya zaidi za maandishi-kwa-3D dhidi ya SDS
Miundo ya Utekelezaji
DreamFusion na Score Distillation Sampuli katika mazoezi
Inazalisha muundo wa 3D wa 'picha ya DSLR ya squirrel aliyevaa kofia ndogo' kutoka kwa maandishi pekee.
Kuunda muundo wa 3D wa 'picha ya DSLR ya kindi aliyevaa kofia ndogo' kutoka kwa maandishi pekee Timu hupata matokeo bora zaidi zinapofafanua viwango vya ubora wa juu, kuweka njia ya kupanda juu ya matukio makali, na kufuatilia faida za tija na gharama za makosa kwa wakati.
DreamFusion na Score Distillation Sampuli katika mazoezi
Kuunda rasimu ya mchezo na vipengee vya Uhalisia Pepe bila uchongaji wa mikono wa 3D.
Kuunda rasimu ya mchezo na vipengee vya Uhalisia Ulioboreshwa bila Timu za uchongaji wa 3D kwa kawaida hupata matokeo bora zaidi zinapofafanua viwango vya juu vya ubora, kuweka njia ya kupanda kwa binadamu kwa matukio makali, na kufuatilia faida za tija na gharama za makosa kwa wakati.
DreamFusion na Score Distillation Sampuli katika mazoezi
Inazalisha meshes zinazoweza kuhamishwa ambazo wasanii huboresha badala ya kujenga kutoka mwanzo.
Kuzalisha meshes zinazoweza kuhamishwa ambazo wasanii huboresha badala ya kujenga kutoka mwanzo Timu kwa kawaida hupata matokeo bora zaidi zinapofafanua viwango vya ubora wa juu, kuweka njia ya kupanda kwa binadamu kwa matukio makali, na kufuatilia faida za tija na gharama za makosa kwa wakati.
DreamFusion na Score Distillation Sampuli katika mazoezi
Utafiti wa misingi ya kutathmini mbinu mpya zaidi za maandishi-kwa-3D dhidi ya SDS.
Misingi ya utafiti ya kutathmini mbinu mpya za kubadilisha maandishi hadi 3D dhidi ya Timu za SDS kwa kawaida hupata matokeo bora zaidi zinapofafanua viwango vya ubora mbele, kuweka njia ya kupanda kwa binadamu kwa matukio makali, na kufuatilia faida za tija na gharama za makosa kwa wakati.
Hatari & Walinzi
Haki za picha na idhini zinaweza kuwa hatari za kisheria ikiwa asili haiko wazi.
Utendaji wa muundo unaweza kutofautiana katika mwangaza, idadi ya watu na mazingira.
Chanya za uwongo zinaweza kutotambuliwa isipokuwa viwango vya uaminifu vifuatiliwe.
Ramani ya Utekelezaji
Bainisha vigezo vya kukubalika vya usahihi, kumbukumbu na gharama za makosa.
Bainisha vigezo vya kukubalika vya usahihi, kumbukumbu na gharama za makosa. Chukulia kila hatua kama lango la ushahidi: ikiwa vigezo havitatimizwa, sitisha uchapishaji, funga pengo, kisha upanue matumizi.
Jaribu kwa kutumia data inayolingana na hali halisi ya uzalishaji.
Jaribu kwa kutumia data inayolingana na hali halisi ya uzalishaji. Chukulia kila hatua kama lango la ushahidi: ikiwa vigezo havitatimizwa, sitisha uchapishaji, funga pengo, kisha upanue matumizi.
Ongeza ukaguzi wa kibinadamu kwa utabiri wa chini au utabiri wa athari kubwa.
Ongeza ukaguzi wa kibinadamu kwa utabiri wa chini au utabiri wa athari kubwa. Chukulia kila hatua kama lango la ushahidi: ikiwa vigezo havitatimizwa, sitisha uchapishaji, funga pengo, kisha upanue matumizi.
Fuatilia mtindo wa kuteleza na uthibitishe upya baada ya mabadiliko ya kamera au mkusanyiko wa data.
Fuatilia mtindo wa kuteleza na uthibitishe upya baada ya mabadiliko ya kamera au mkusanyiko wa data. Chukulia kila hatua kama lango la ushahidi: ikiwa vigezo havitatimizwa, sitisha uchapishaji, funga pengo, kisha upanue matumizi.