Mchanganyiko wa Sauti wa DDSP Tofauti
DDSP (Uchakataji wa Mawimbi ya Dijiti Unaotofautiana) huunganisha vizuizi vya kawaida vya ujenzi vya synthesizer na mitandao ya neva, ili kujifunza kwa kina kunaweza kudhibiti oscillators na vichujio moja kwa moja.
Muhtasari
It produces strikingly natural, controllable instrument sounds with tiny models and little data.
Dive ya kina
DDSP, iliyoanzishwa na Google timu ya Magenta mnamo 2020, inafikiria upya utengenezaji wa sauti za neva. Badala ya mtandao kutabiri sampuli za sauti mbichi moja baada ya nyingine (kama vile WaveNet) au pikseli za spectrogramu, DDSP huunda vipengee vya jadi vya DSP - kiongeza sauti cha sauti, jenereta ya kelele iliyochujwa, na kitenzi - kutofautisha. Hiyo ina maana kwamba viingilio vinaweza kutiririka kupitia kwao wakati wa mafunzo, kwa hivyo mtandao mdogo wa neva hujifunza kutoa mawimbi ya udhibiti zinazoweza kufasiriwa: sauti ya kimsingi, sauti ya jumla, na amplitudes ya kadhaa ya sauti kwa wakati. Kisanishi kisha hutoa sauti halisi kutoka kwa vidhibiti hivi. Kwa sababu fizikia ya sauti imechochewa katika usanifu badala ya kujifunza kutoka mwanzo, DDSP inapata ubora wa juu ikiwa na vigezo na mifano michache ya mafunzo, na huwaruhusu watumiaji kudhibiti sauti, sauti na sauti kwa uhuru - hata kutekeleza uhamishaji wa sauti, kama vile kufanya sauti ya kuimba kucheza kama violin.
Ufahamu wa Kiufundi
Msingi ni kisanishi cha kielelezo cha spectral: benki ya oscillator ya harmonic huzalisha jumla ya mawimbi ya sine kwa mawimbi kamili ya mzunguko wa kimsingi, wakati njia tofauti huchuja kelele nyeupe kwa kupumua na textures inharmonic. Mtandao wa neva hautoi sauti moja kwa moja - hutoa vigezo vya udhibiti vinavyotofautiana wakati (f0, sauti ya juu, usambazaji wa sauti, vijiti vya kichujio). Mafunzo hutumia upotevu wa spectrogram wa viwango vingi kulinganisha sauti inayozalishwa na lengwa katika saizi kadhaa za dirisha la FFT, ambayo ni thabiti kwa tofauti za awamu.
Athari za kimkakati
Kufikia na kufikia
Huboresha ufikiaji kupitia manukuu, simulizi na violesura vya sauti.
Cost and budget
Timu za media zinaweza kusafirisha sauti iliyoboreshwa haraka na bajeti ndogo.
Kasi na kiwango
Mifumo inayowakabili wateja inaweza kuchakata mwingiliano wa mazungumzo kwa kiwango kikubwa.
Mustakabali wa Usanifu wa Sauti Unaotofautiana wa DDSP
DDSP inasukuma ala za muda halisi, za muda wa chini za neural na athari za sauti zinazoendeshwa kwenye maunzi ya kawaida, ikijumuisha kivinjari cha ndani na vifaa vilivyopachikwa. Vidhibiti vyake vinavyoweza kufasiriwa huifanya kuwa bora kwa zana za utendaji zinazoeleweka na vianzilishi mseto ambapo wanamuziki hupiga simu moja kwa moja. Watafiti wanapanua wazo linalotofautishwa la-DSP kwa uundaji wa muundo halisi, sauti za chumba, na minyororo kamili ya utengenezaji wa sauti, ikichanganya udhibiti wa uchakataji wa mawimbi ya kawaida na uhalisia wa kujifunza kwa kina kote katika uundaji wa muziki na muundo wa sauti.
Utekelezaji wa Ulimwengu Halisi
Zana za uhamishaji wa Timbre ambazo huchukua wimbo wa kuvuma au kuimbwa na kuutoa tena kama violin, filimbi au tarumbeta katika wakati halisi.
Programu jalizi nyepesi za neural synthesizer ambazo wanamuziki hudhibiti kwa sauti angavu, sauti kubwa na vifundo vya mwangaza.
Usahihishaji wa lami na usanisishaji wazi wa vyombo vilivyorekodiwa huku ukihifadhi maelezo ya asili ya uelewano.
Onyesho za muziki zinazoingiliana kulingana na kivinjari ambazo hutoa sauti za ala halisi bila miundo nzito ya GPU.
Hatari & Walinzi
Hatari za matumizi mabaya ya sauti na uigaji huongezeka wakati kibali kinakosekana.
Usahihi unaweza kushuka katika lafudhi, lahaja au mazingira yenye kelele.
Sauti ya syntetisk inaweza kudhaniwa kimakosa kuwa usemi halisi bila kuweka lebo wazi.
Ramani ya Utekelezaji
Pata idhini ya moja kwa moja ya kunasa sauti, kuunda na kutumia tena.
Jaribu ubora kwenye spika na hali mbalimbali za usuli.
Bainisha wakati ni lazima binadamu akague au aidhinishe matokeo.
Weka lebo sauti ya sintetiki na uhifadhi rekodi za asili kwa uwajibikaji.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the DDSP Differentiable Audio Synthesis quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Muundo wa Maandishi ya AudioGen hadi Sauti
Maswali yanayoulizwa mara kwa mara
What is DDSP Differentiable Audio Synthesis?
DDSP (Uchakataji wa Mawimbi ya Dijiti Unaotofautiana) huunganisha vizuizi vya kawaida vya ujenzi vya synthesizer na mitandao ya neva, ili kujifunza kwa kina kunaweza kudhibiti oscillators na vichujio moja kwa moja. Hutoa sauti za ala za asili, zinazoweza kudhibitiwa na miundo midogo na data ndogo.
Ni uvumbuzi gani muhimu nyuma ya DDSP?
DDSP hugeuza vizuizi vya ujenzi vya kusanisishaji vya kitamaduni kuwa moduli zinazoweza kutofautishwa, kuruhusu mtandao wa neva kujifunza kuzidhibiti kupitia uenezaji wa nyuma.
Katika DDSP, mtandao wa neural hutoa nini hasa?
Mtandao unabashiri vigezo vya udhibiti vinavyotofautiana wakati, na synthesizer tofauti inayoweza kutofautishwa hutoa sauti kutoka kwao - haitoi sampuli moja kwa moja.
Je, ni sehemu gani mbili za msingi za kuzalisha sauti ambazo synthesizer ya spectral ya DDSP inachanganya?
Oscillator ya kuongeza ya harmonic hutoa sehemu iliyopigwa, ya usawa wakati kelele iliyochujwa huongeza pumzi na texture ya inharmonic.
Kwa nini DDSP inaweza kufikia ubora wa juu na modeli ndogo na data ndogo?
Kwa sababu muundo unaojulikana wa kuchakata mawimbi umejengwa ndani badala ya kujifunza kutoka mwanzo, mtandao una mambo machache sana ya kujifunza, kuboresha data na ufanisi wa vigezo.
DDSP hutumia utendakazi gani wa upotezaji kulinganisha sauti inayozalishwa na kulenga kwa uthabiti?
Kulinganisha spectrogramu za ukubwa katika maazimio mengi ni thabiti kwa tofauti za awamu, ambazo hasara za kiwango cha sampuli hupambana nazo.