InayofuataMwongozo unaofuata
Muundo wa Maandishi ya AudioGen hadi Sauti
Sauti AI
MWONGOZO WA AI wa Sauti
Mchanganyiko wa Sauti wa DDSP Tofauti
DDSP (Uchakataji wa Mawimbi ya Dijiti Unaotofautiana) huunganisha vizuizi vya kawaida vya ujenzi vya synthesizer na mitandao ya neva, ili kujifunza kwa kina kunaweza kudhibiti oscillators na vichujio moja kwa moja.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
Hutoa sauti za ala za asili, zinazoweza kudhibitiwa na miundo midogo na data ndogo.
Dive ya kina
DDSP, iliyoanzishwa na Google timu ya Magenta mnamo 2020, inafikiria upya utengenezaji wa sauti za neva. Badala ya mtandao kutabiri sampuli za sauti mbichi moja baada ya nyingine (kama vile WaveNet) au pikseli za spectrogramu, DDSP huunda vipengee vya jadi vya DSP - kiongeza sauti cha sauti, jenereta ya kelele iliyochujwa, na kitenzi - kutofautisha. Hiyo ina maana kwamba viingilio vinaweza kutiririka kupitia kwao wakati wa mafunzo, kwa hivyo mtandao mdogo wa neva hujifunza kutoa mawimbi ya udhibiti zinazoweza kufasiriwa: sauti ya kimsingi, sauti ya jumla, na amplitudes ya kadhaa ya sauti kwa wakati. Kisanishi kisha hutoa sauti halisi kutoka kwa vidhibiti hivi. Kwa sababu fizikia ya sauti imechochewa katika usanifu badala ya kujifunza kutoka mwanzo, DDSP inapata ubora wa juu ikiwa na vigezo na mifano michache ya mafunzo, na huwaruhusu watumiaji kudhibiti sauti, sauti na sauti kwa uhuru - hata kutekeleza uhamishaji wa sauti, kama vile kufanya sauti ya kuimba kucheza kama violin.
Utekelezaji wa Ulimwengu Halisi
Zana za uhamishaji wa Timbre ambazo huchukua wimbo wa kuvuma au kuimbwa na kuutoa tena kama violin, filimbi au tarumbeta katika wakati halisi.
Programu jalizi nyepesi za neural synthesizer ambazo wanamuziki hudhibiti kwa sauti angavu, sauti kubwa na vifundo vya mwangaza.
Usahihishaji wa lami na usanisishaji wazi wa vyombo vilivyorekodiwa huku ukihifadhi maelezo ya asili ya uelewano.
Onyesho za muziki zinazoingiliana kulingana na kivinjari ambazo hutoa sauti za ala halisi bila miundo nzito ya GPU.
Mustakabali wa Usanifu wa Sauti Unaotofautiana wa DDSP
DDSP inasukuma ala za muda halisi, za muda wa chini za neural na athari za sauti zinazoendeshwa kwenye maunzi ya kawaida, ikijumuisha kivinjari cha ndani na vifaa vilivyopachikwa. Vidhibiti vyake vinavyoweza kufasiriwa huifanya kuwa bora kwa zana za utendaji zinazoeleweka na vianzilishi mseto ambapo wanamuziki hupiga simu moja kwa moja. Watafiti wanapanua wazo linalotofautishwa la-DSP kwa uundaji wa muundo halisi, sauti za chumba, na minyororo kamili ya utengenezaji wa sauti, ikichanganya udhibiti wa uchakataji wa mawimbi ya kawaida na uhalisia wa kujifunza kwa kina kote katika uundaji wa muziki na muundo wa sauti.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Kufikia na kufikia. Huboresha ufikiaji kupitia manukuu, simulizi na violesura vya sauti.
- Gharama na bajeti. Timu za media zinaweza kusafirisha sauti iliyoboreshwa haraka na bajeti ndogo.
- Kasi na kiwango. Mifumo inayowakabili wateja inaweza kuchakata mwingiliano wa mazungumzo kwa kiwango kikubwa.
Jihadharini na
- Hatari za matumizi mabaya ya sauti na uigaji huongezeka wakati kibali kinakosekana.
- Usahihi unaweza kushuka katika lafudhi, lahaja au mazingira yenye kelele.
- Sauti ya syntetisk inaweza kudhaniwa kimakosa kuwa usemi halisi bila kuweka lebo wazi.
Hatua zinazofuata
- Pata idhini ya moja kwa moja ya kunasa sauti, kuunda na kutumia tena.
- Jaribu ubora kwenye spika na hali mbalimbali za usuli.
- Bainisha wakati ni lazima binadamu akague au aidhinishe matokeo.
- Weka lebo sauti ya sintetiki na uhifadhi rekodi za asili kwa uwajibikaji.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the DDSP Differentiable Audio Synthesis quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
Je, Usanisi wa Sauti Unaotofautiana wa DDSP ni nini?
DDSP (Uchakataji wa Mawimbi ya Dijiti Unaotofautiana) huunganisha vizuizi vya kawaida vya ujenzi vya synthesizer na mitandao ya neva, ili kujifunza kwa kina kunaweza kudhibiti oscillators na vichujio moja kwa moja. Hutoa sauti za ala za asili, zinazoweza kudhibitiwa na miundo midogo na data ndogo.
Ni uvumbuzi gani muhimu nyuma ya DDSP?
DDSP hugeuza vizuizi vya ujenzi vya kusanisishaji vya kitamaduni kuwa moduli zinazoweza kutofautishwa, kuruhusu mtandao wa neva kujifunza kuzidhibiti kupitia uenezaji wa nyuma.
Katika DDSP, mtandao wa neural hutoa nini hasa?
Mtandao unabashiri vigezo vya udhibiti vinavyotofautiana wakati, na synthesizer tofauti inayoweza kutofautishwa hutoa sauti kutoka kwao - haitoi sampuli moja kwa moja.
Je, ni sehemu gani mbili za msingi za kuzalisha sauti ambazo synthesizer ya spectral ya DDSP inachanganya?
Oscillator ya kuongeza ya harmonic hutoa sehemu iliyopigwa, ya usawa wakati kelele iliyochujwa huongeza pumzi na texture ya inharmonic.
Kwa nini DDSP inaweza kufikia ubora wa juu na modeli ndogo na data ndogo?
Kwa sababu muundo unaojulikana wa kuchakata mawimbi umejengwa ndani badala ya kujifunza kutoka mwanzo, mtandao una mambo machache sana ya kujifunza, kuboresha data na ufanisi wa vigezo.
DDSP hutumia utendakazi gani wa upotezaji kulinganisha sauti inayozalishwa na kulenga kwa uthabiti?
Kulinganisha spectrogramu za ukubwa katika maazimio mengi ni thabiti kwa tofauti za awamu, ambazo hasara za kiwango cha sampuli hupambana nazo.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii