Utoaji Tofauti
Utoaji tofauti hufanya mchakato wa kugeuza onyesho la 3D kuwa taswira ya 2D iweze kutofautishwa kikamilifu, kwa hivyo unaweza kukokotoa gradient kutoka kwa pikseli zilizoonyeshwa kurudi kwenye vigezo vya tukio.
Muhtasari
This lets you optimize geometry, materials, lighting, and camera using gradient descent.
Dive ya kina
Utoaji wa kitamaduni ni wa njia moja: malisho katika jiometri, nyenzo, taa na kamera, na pikseli hutoka. Utoaji tofauti hugeuza mtiririko huo kwa kukokotoa jinsi kila pikseli towe hubadilika kuhusiana na kila kigezo cha ingizo. Kwa gradient hizo, kiboreshaji kinaweza kurekebisha umbo la 3D au umbile lake hadi picha inayotolewa ilingane na picha inayolengwa, ambayo ni kiini cha uwasilishaji kinyume na uchanganuzi kwa usanisi. Ugumu kuu ni kwamba uwasilishaji unahusisha kutoendelea, haswa kwenye hariri za vitu na kingo za kuziba, ambapo pikseli huruka ghafla kutoka mbele hadi chinichini. Mbinu kama vile uwekaji kurahisisha laini (SoftRas), sampuli za ukingo (Li et al.'s redner), na kiweka alama kwenye PyTorch3D hushughulikia hizi kwa kulainisha au viambajengo maalum vya mipaka. Mafunzo ya NeRF na 3D Gaussian splatting ni maombi maarufu.
Ufahamu wa Kiufundi
Changamoto kuu ni kutoendelea kwa mwonekano. Kwenye mwonekano wa kitu pikseli huchomoza kutoka mbele hadi chinichini, kwa hivyo derivative isiyoeleweka ni sifuri karibu kila mahali na haijafafanuliwa ukingoni, haitoi upinde rangi muhimu kuhusu umbo. Suluhisho hulainisha ufunikaji ili pembetatu zichangie alama ya miguu laini, iliyotiwa ukungu kwa pikseli zilizo karibu (uwekaji kurahisisha laini) au sampuli dhahiri kwenye kingo ili kukokotoa muda wa mpaka wa muunganisho wa utekelezaji (sampuli ya ukingo).
Athari za kimkakati
Kasi na kiwango
Visual AI inaweza kufanya ukaguzi, ugunduzi na kazi za kuweka lebo kiotomatiki kwa kiwango.
Tengeneza chaguzi
Timu bunifu zinaweza kuiga dhana kwa haraka zaidi na masahihisho machache ya mikono.
Timu na mtiririko wa kazi
Uendeshaji unaweza kutumia ishara za picha na video ambazo hapo awali zilikuwa ngumu kuchakata.
Mustakabali wa Utoaji Tofauti
Utoaji tofauti unakuwa kiunganishi kati ya michoro na ujifunzaji wa kina. Kadiri vionyeshi vinavyoweza kutofautishwa katika wakati halisi na mabomba ya kunyunyiza kwa Gaussian yanavyokomaa, tarajia misururu midogo zaidi ya uundaji upya wa 3D kutoka kwa picha, ukamataji wa nyenzo za neva, uigaji wa roboti na fizikia inayoweza kusomeka, na mifumo ya mwisho hadi mwisho ambapo hasara moja hutiririka kutoka kwa picha ya mwisho hadi kwa vigezo vya tukio. Ufuatiliaji wa njia tofauti kwa uangazaji kamili wa kimataifa ni mpaka amilifu wa utafiti unaoelekea kwenye utendakazi.
Utekelezaji wa Ulimwengu Halisi
Kuunda upya umbo na umbile la kitu cha 3D kutoka kwa wachache wa picha kwa kuboresha muundo hadi vionyeshi vilingane na picha (utoaji kinyume).
Mafunzo ya NeRFs na 3D Gaussian splats, ambapo gradient kutoka kwa maoni yaliyotolewa husasisha uwakilishi wa eneo.
Kukadiria sifa za nyenzo za kitu (ukwaru, uakisi) kwa kulinganisha vivutio vilivyotolewa na picha halisi.
Urekebishaji wa kamera na mkao katika robotiki, ukitumia muundo unaojulikana wa 3D kwenye picha ya kamera ili kurejesha nafasi yake.
Hatari & Walinzi
Haki za picha na idhini zinaweza kuwa hatari za kisheria ikiwa asili haiko wazi.
Utendaji wa muundo unaweza kutofautiana katika mwangaza, idadi ya watu na mazingira.
Chanya za uwongo zinaweza kutotambuliwa isipokuwa viwango vya uaminifu vifuatiliwe.
Ramani ya Utekelezaji
Bainisha vigezo vya kukubalika vya usahihi, kumbukumbu na gharama za makosa.
Jaribu kwa kutumia data inayolingana na hali halisi ya uzalishaji.
Ongeza ukaguzi wa kibinadamu kwa utabiri wa chini au utabiri wa athari kubwa.
Fuatilia mtindo wa kuteleza na uthibitishe upya baada ya mabadiliko ya kamera au mkusanyiko wa data.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Differentiable Rendering quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Mchanganyiko wa Sauti wa DDSP Tofauti
Maswali yanayoulizwa mara kwa mara
What is Differentiable Rendering?
Utoaji tofauti hufanya mchakato wa kugeuza onyesho la 3D kuwa taswira ya 2D iweze kutofautishwa kikamilifu, kwa hivyo unaweza kukokotoa gradient kutoka kwa pikseli zilizoonyeshwa kurudi kwenye vigezo vya tukio. Hii hukuruhusu kuboresha jiometri, nyenzo, mwangaza na kamera kwa kutumia mteremko wa kushuka.
Utoaji unaoweza kutofautishwa hukuruhusu kukokotoa nini?
Kwa kufanya uwasilishaji uweze kutofautishwa, unapata gradient ambazo hutiririka kutoka kwa pikseli kurudi kwenye ingizo la tukio, kuwezesha uboreshaji kulingana na gradient.
Kwa nini silhouettes za kitu ni ugumu wa kimsingi wa uwasilishaji unaoweza kutofautishwa?
Katika mwonekano, pikseli hunasua kati ya mandhari ya mbele na ya chinichini, hivyo derivative ya kutojua ni sifuri au haijafafanuliwa na haibebi maelezo ya umbo.
Je, uboreshaji laini hushughulikiaje tatizo la kutoendelea?
Uwekaji uwekaji sauti laini (k.m., SoftRas) hupunguza ufunikaji ili kila pembetatu iathiri vyema saizi zinazozunguka, na kutoa gradient zinazoweza kutumika.
'Utoaji kinyume' ni nini?
Utoaji kinyume hutumia uonyeshaji unaotofautishwa ili kuboresha vigezo vya tukio hadi picha iliyosanisishwa ilingane na picha inayoonekana.
Ni mbinu gani ya kisasa inategemea utoaji unaotofautishwa kwa mafunzo?
NeRFs na 3D Gaussian splatting huboreshwa kwa kueneza upotezaji wa nafasi ya picha kupitia kionyeshi kinachoweza kutofautishwa.