Overview
Vokoda chishandiso chinopatsanura kutaura muzvikamu zvayo zvekuvaka uye kuchivaka patsva. Iyo sosi-sefa modhi uye WORLD vocoder inzira dzekare dzinosimbisa mavara-kune-kutaura uye kushandurwa kwezwi nekupatsanura izvo tambo dzezwi rako dzinoita kubva kune izvo muromo wako.
Source-Filter Vocoding uye NYIKA inogara muodhiyo-AI workflows inoshandura kutaura, mimhanzi, uye ruzha rwekutaurirana, kuwanikwa, uye kugadzirwa kwenhau.
Deep Dive
Mabviro-sefa modhi inotsanangura kutaura sezvidimbu zviviri zvinoshanda pamwechete: kunobva (ruzha kubva pamiviri yako yezwi rinodedera remanzwi, kana mhepo ine ruzha yekuzevezera nemakonzonendi) yakapfuura nepasefa (chimiro chinonzwika chehuro yako, muromo, uye mhino). Vocoder inoongorora akarekodhwa odhiyo kuti afungidzire zvidimbu izvi, obva agadzira mutsva odhiyo kubva kwavari. NYIKA, yakaburitswa naMasanori Morise kutenderera 2016, ivokodha yemhando yepamusoro inobvisa maparamita matatu: F0 (iyo pitch contour yekwakabva), iyo envelopu yekuona (iyo sefa, kuburikidza neCheapTrick algorithm), uye aperiodicity (yakawanda sei ruzha inopesana netoni, kuburikidza nePLATINUM / D4C). Idzi nzizi nhatu dzinogona kugadziridzwa dzakazvimirira dzozogadziriswazve, zvichiita kuti NYIKA ive horse yeparametric TTS uye masisitimu ezwi ekuimba.
Technical Insight
SIMBA renyika rinobva mukuparadzana kwakachena. CheapTrick inofungidzira hamvuropu yakatsetseka ine simba kune diki F0 zvikanganiso, nepo DIO/Harvest track pitch uye D4C inoyera bhendi aperiodicity. Nekuti kurira, timbre, uye ruzha zvinogara munzvimbo dzakaparadzana paramende, unogona kusimudzira F0 kumusoro octave usingashandure kuti izwi rinonzwika sei, kana kutambanudza nguva pasina kushandura inzwi. Neural vocoder seWaveNet yakazotevedzera waveform zvakananga, asi NYIKA inoramba ichikurumidza, inodudzirwa, uye isina rezinesi.
Mastering Source-Sefa Vocoding uye NYIKA
Vokoda chishandiso chinopatsanura kutaura muzvikamu zvayo zvekuvaka uye kuchivaka patsva. Iyo sosi-sefa modhi uye WORLD vocoder inzira dzekare dzinosimbisa mavara-kune-kutaura uye kushandurwa kwezwi nekupatsanura izvo tambo dzezwi rako dzinoita kubva kune izvo muromo wako. Source-Filter Vocoding uye NYIKA inogara muodhiyo-AI workflows inoshandura kutaura, mimhanzi, uye ruzha rwekutaurirana, kuwanikwa, uye kugadzirwa kwenhau. Kuvaka kunzwisisa kwakadzama, tora Source-Filter Vocoding uye NYIKA semuenzaniso wekushandisa, kwete chinhu chimwe chete: tsanangura zvaunoda mhedzisiro, kujekesa fungidziro, uye patsanura izvo zvinogona kuitwa nehurongwa hwakavimbika kubva kune izvo zvichiri kuda kutonga kwenyanzvi.
Mukuita, zvikwata zvakasimba zvinoshandisa Source-Filter Vocoding uye WORLD zvinobata mhando, latency, uye mvumo sezvikamu zvakakosha zvakaenzana zvehurongwa hwekuendesa. Ivo vanonyora zvakajeka maitiro ebudiriro, bvunzo vachipokana ne data rechokwadi uye mafambiro ebasa, uye iterate zvichibva pane zvakacherechedzwa maitiro ekutadza kwete kuhwina-nguva imwe chete yebhenji. Apa ndipo apo kunzwisisa kwe theoretical kunoshanduka kuve kugona kwakasimba pane chigadzirwa, mutemo, uye mashandiro.
Inonatsiridza kusvikika kuburikidza nekunyora, kurondedzera, uye mazwi ekubatanidza. Panguva imwecheteyo, kusashandiswa kweIzwi zvisizvo uye njodzi dzekuedzesera dzinowedzera kana chibvumirano chisipo. Nzira yakatsiga ndeyekubatanidza kukurumidza kuyedza nekutonga: mhanyisa vatyairi vendege, tora humbowo, buritsa matanda esarudzo, uye urambe uchivandudza chengetedzo semaitiro emuenzaniso, zvinotarisirwa nemushandisi, uye zvinodikanwa zvekutonga.
Strategic Impact
Inonatsiridza kusvikika kuburikidza nekunyora, kurondedzera, uye mazwi ekubatanidza.
Inonatsiridza kusvikika kuburikidza nekunyora, kurondedzera, uye mazwi ekubatanidza. Mukutumirwa kwemhando yepamusoro, izvi zvinoshandurirwa kuita mitemo inoyerwa yekushanda, miganhu yevaridzi, uye tsika dzekudzokorora dzinodzokororwa kuitira kuti zvikwata zvikwire kuvimba pane kukwidza kusajeka.
Zvikwata zveMedia zvinogona kutumira odhiyo yakakwenenzverwa nekukurumidza nemabhajeti madiki.
Zvikwata zveMedia zvinogona kutumira odhiyo yakakwenenzverwa nekukurumidza nemabhajeti madiki. Mukutumirwa kwemhando yepamusoro, izvi zvinoshandurirwa kuita mitemo inoyerwa yekushanda, miganhu yevaridzi, uye tsika dzekudzokorora dzinodzokororwa kuitira kuti zvikwata zvikwire kuvimba pane kukwidza kusajeka.
Masisitimu anotarisana nevatengi anogona kugadzirisa kutaurirana kwekutaura pamwero mukuru.
Masisitimu anotarisana nevatengi anogona kugadzirisa kutaurirana kwekutaura pamwero mukuru. Mukutumirwa kwemhando yepamusoro, izvi zvinoshandurirwa kuita mitemo inoyerwa yekushanda, miganhu yevaridzi, uye tsika dzekudzokorora dzinodzokororwa kuitira kuti zvikwata zvikwire kuvimba pane kukwidza kusajeka.
Real-World Implementation
Maturusi ekushandura inzwi anochinja matauriro nemanzwi emutauri uku uchichengeta kutaura kunzwisisika
Kuimba izwi synthesizer (senge UTAU/NNSVS ecosystem) inogadziridza manotsi pamatanho matsva.
Parametric mavara-kune-kutaura masisitimu anogadzira F0, spectral, uye aperiodicity nzizi pamberi pemanzwi.
Hurukuro yekutsvagisa nheyo dzekuchinja kwenzwi, kutambanudza nguva, uye prosody editing pasina kudzokorora
Maitiro Ekuita
Source-Sefa Vocoding uye NYIKA mukuita
Maturusi ekushandura inzwi anochinja matauriro nemanzwi emutauri uku uchichengeta kutaura kunzwisisika.
Maturusi ekushandura manzwi anoshandura kukwirira kwemutauri uye timbre uku uchichengeta kutaura kunonzwisisika Matimu anowanzo kuwana mhedzisiro iri nani kana achinge atsanangura hunhu kumberi, chengetedza nzira yekukwira kwevanhu yemakesi ekumucheto, uye kuteedzera zvese zvakawanikwa zvechigadzirwa nemitengo yekukanganisa nekufamba kwenguva.
Source-Sefa Vocoding uye NYIKA mukuita
Kuimba izwi synthesizer (senge UTAU/NNSVS ecosystem) inogadziridza manotsi pamatanho matsva.
Kuimba izwi synthesizer (senge UTAU/NNSVS ecosystem) iyo inogadziridza manotsi pamatanho matsva Matimu anowanzo kuwana mhedzisiro iri nani kana achinge atsanangura mhando yepamusoro kumberi, chengetedza nzira yekukwira kwevanhu yemakesi emupendero, uye kuteedzera zvese zvakawanikwa zvechigadzirwa uye mutengo wekukanganisa nekufamba kwenguva.
Source-Sefa Vocoding uye NYIKA mukuita
Parametric mavara-kune-kutaura masisitimu anogadzira F0, spectral, uye aperiodicity nzizi pamberi pemanzwi.
Parametric mavara-kune-kutaura masisitimu anogadzira F0, spectral, uye aperiodicity nzizi pamberi pemakodha Matimu anowanzo kuwana mhedzisiro iri nani kana achinge atsanangura emhando yepamusoro kumberi, chengetedza nzira yekukwira kwevanhu yemakesi emupendero, uye kuteedzera zvese zvakawanikwa zvechigadzirwa uye mutengo wekukanganisa nekufamba kwenguva.
Source-Sefa Vocoding uye NYIKA mukuita
Hurukuro yekutsvagisa nheyo dzekuchinja kwenzwi, kutambanudza nguva, uye prosody editing pasina kudzokorora.
Hurukuro yekutsvagisa nheyo dzekuchinja kwenzwi, kutambanudza nguva, uye prosody editing pasina kudzidzisa Matimu anowanzo kuwana mhedzisiro iri nani kana achinge atsanangura hunhu kumberi, chengetedza nzira yekukwira kwevanhu yemakesi emupendero, uye kuteedzera zvese zvakawanikwa zvechigadzirwa nemitengo yekukanganisa nekufamba kwenguva.
Njodzi & Guardrails
Kushandisa izwi zvisizvo uye njodzi dzekuedzesera dzinowedzera kana chibvumirano chisipo.
Kururama kunogona kudonha mumitauro, mataurirwo, kana nharaunda dzine ruzha.
Synthetic audio inogona kukanganisa kutaura kwechokwadi isina mavara akajeka.
Implementation Roadmap
Wana mvumo yakajeka yekutora inzwi, kugadzira, uye kushandisa zvakare.
Wana mvumo yakajeka yekutora inzwi, kugadzira, uye kushandisa zvakare. Bata nhanho yega yega segedhi rehumbowo: kana maitiro asina kusangana, imbomira kuburitsa, vhara gaka, uye wobva wawedzera kushandiswa.
Yedza mhando pavatauri vakasiyana uye mamiriro ekumashure.
Yedza mhando pavatauri vakasiyana uye mamiriro ekumashure. Bata nhanho yega yega segedhi rehumbowo: kana maitiro asina kusangana, imbomira kuburitsa, vhara gaka, uye wobva wawedzera kushandiswa.
Tsanangura apo munhu anofanira kuongorora kana kubvumidza zvabuda.
Tsanangura apo munhu anofanira kuongorora kana kubvumidza zvabuda. Bata nhanho yega yega segedhi rehumbowo: kana maitiro asina kusangana, imbomira kuburitsa, vhara gaka, uye wobva wawedzera kushandiswa.
Label synthetic odhiyo uye chengetedza marekodhi ekuzvidavirira.
Label synthetic odhiyo uye chengetedza marekodhi ekuzvidavirira. Bata nhanho yega yega segedhi rehumbowo: kana maitiro asina kusangana, imbomira kuburitsa, vhara gaka, uye wobva wawedzera kushandiswa.