DreamFusion na Score Distillation Sampuli
DreamFusion hutengeneza vipengee vya 3D kutoka kwa maandishi kwa kutumia kielelezo cha uenezaji wa taswira ya P2 kama mkosoaji, kamwe hajifunzi kwenye data yoyote ya 3D.
Muhtasari
Its core invention, Score Distillation Sampling, became the foundational recipe for the entire text-to-3D field.
Dive ya kina
DreamFusion, kutoka Google mwaka wa 2022, aliuliza: je, muundo wa 2D wa kubadilisha maandishi hadi picha unaweza kufundisha onyesho la 3D kutazama kutoka kila pembe? Inaboresha NeRF (Uga wa Neural Radiance) ili uwasilishaji kutoka kwa mitazamo ya kamera nasibu, inapopigwa kelele na kuonyeshwa kwa muundo wa usambaaji ulioganda (Picha), alama kama picha zinazowezekana kwa haraka ya maandishi. Muhimu haitumii data ya mafunzo ya 3D. Mafanikio ni Sampuli ya Unereka wa Alama (SDS): badala ya kueneza nyuma kupitia U-Net ghali ya modeli ya uenezaji, SDS hutumia kelele iliyotabiriwa ya muundo kama ishara ya gradient moja kwa moja kwenye pikseli zinazotolewa. Kurudia hili katika maelfu ya mitazamo huchonga kipengee shirikishi cha 3D, kilicho kamili na jiometri na mwonekano unaotegemea mwonekano, kutoka kwa sentensi moja.
Ufahamu wa Kiufundi
SDS huchukulia muundo wa uenezaji kama kipengele cha alama kilichogandishwa. Inatoa NeRF, inaongeza kelele, inauliza uenezaji wa U-Net kutabiri kelele hiyo, na kukokotoa mwinuko kama (kelele iliyotabiriwa kutoa kelele iliyoongezwa) kusukumwa nyuma kwenye picha iliyotolewa na kwa hivyo uzani wa NeRF. Kuruka U-Net Jacobian huifanya ivutie. Uelekezo wa hali ya juu usio na kiainishaji (karibu 100) unahitajika kwa matokeo makali, ambayo husababisha sifa iliyojaa kupita kiasi, wakati mwingine 'DreamFusion look.'
Athari za kimkakati
Kasi na kiwango
Visual AI inaweza kufanya ukaguzi, ugunduzi na kazi za kuweka lebo kiotomatiki kwa kiwango.
Tengeneza chaguzi
Timu bunifu zinaweza kuiga dhana kwa haraka zaidi na masahihisho machache ya mikono.
Timu na mtiririko wa kazi
Uendeshaji unaweza kutumia ishara za picha na video ambazo hapo awali zilikuwa ngumu kuchakata.
Mustakabali wa DreamFusion na Sampuli za Utoaji wa Alama
SDS ilitoa kazi nyingi za kurekebisha udhaifu wake: Magic3D kwa azimio na kasi, Unenoaji wa Alama za ProlificDreamer's Variational Score kwa matokeo makali, tofauti zaidi, na mbinu za kushambulia vizalia vya 'Janus' vya nyuso nyingi. Sehemu inazidi kuoanisha SDS na viambajengo vya uenezaji wa mwonekano-nyingi na uwakilishi wa haraka wa 3D kama vile Gaussian Splatting. Tarajia maandishi-to-3D kukua kwa kasi na kwa uaminifu zaidi kijiometri, na kupunguza pengo kwa vipengee vilivyoundwa kwa mkono.
Utekelezaji wa Ulimwengu Halisi
Inazalisha muundo wa 3D wa 'picha ya DSLR ya squirrel aliyevaa kofia ndogo' kutoka kwa maandishi pekee
Kuunda rasimu ya mchezo na vipengee vya Uhalisia Pepe bila uchongaji wa mikono wa 3D
Inazalisha meshes zinazoweza kuhamishwa ambazo wasanii huboresha badala ya kujenga kutoka mwanzo
Utafiti wa misingi ya kutathmini mbinu mpya zaidi za maandishi-kwa-3D dhidi ya SDS
Hatari & Walinzi
Haki za picha na idhini zinaweza kuwa hatari za kisheria ikiwa asili haiko wazi.
Utendaji wa muundo unaweza kutofautiana katika mwangaza, idadi ya watu na mazingira.
Chanya za uwongo zinaweza kutotambuliwa isipokuwa viwango vya uaminifu vifuatiliwe.
Ramani ya Utekelezaji
Bainisha vigezo vya kukubalika vya usahihi, kumbukumbu na gharama za makosa.
Jaribu kwa kutumia data inayolingana na hali halisi ya uzalishaji.
Ongeza ukaguzi wa kibinadamu kwa utabiri wa chini au utabiri wa athari kubwa.
Fuatilia mtindo wa kuteleza na uthibitishe upya baada ya mabadiliko ya kamera au mkusanyiko wa data.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the DreamFusion and Score Distillation Sampling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Miundo ya Kuzalisha yenye Alama
Maswali yanayoulizwa mara kwa mara
What is DreamFusion and Score Distillation Sampling?
DreamFusion hutengeneza vipengee vya 3D kutoka kwa maandishi kwa kutumia kielelezo cha uenezaji wa taswira ya P2 kama mkosoaji, kamwe hajifunzi kwenye data yoyote ya 3D. Uvumbuzi wake wa kimsingi, Sampuli ya Unyunyushaji Alama, ukawa kichocheo cha msingi cha uga mzima wa maandishi-hadi-3D.
DreamFusion inaboresha uwakilishi gani wa 3D?
DreamFusion huboresha NeRF ili maoni yake yaliyotolewa yakidhi uamuzi wa muundo wa 2D wa uenezaji wa haraka wa maandishi.
DreamFusion inahitaji data ngapi ya mafunzo ya 3D?
DreamFusion hutumia muundo wa 2D wa usambaaji wa maandishi-hadi-picha uliogandishwa kama usimamizi wake pekee, hauhitaji data ya mafunzo ya 3D.
Ni ipi njia ya mkato kuu ya hesabu katika Sampuli ya Unereka wa Alama?
SDS hutumia kelele iliyotabiriwa-minus-iliyoongezwa kama kipenyo cha moja kwa moja kwenye pikseli zilizotolewa, kuepuka U-Net Jacobian ya gharama kubwa.
Kwa nini DreamFusion hutumia mwongozo wa juu sana usio na uainishaji (~100)?
Upinde wa mvua wa SDS ni wa kelele na dhaifu, kwa hivyo uelekezi wa juu usio wa kawaida unahitajika kwa jiometri fupi, ya haraka, ingawa husababisha kueneza zaidi.
DreamFusion ya asili ilitumia modeli gani ya 2D kama awali iliyogandishwa?
DreamFusion iliundwa juu ya Google ya Imagen muundo wa uenezaji wa maandishi-hadi-picha kama kitendakazi kilichogandishwa cha bao.