MWONGOZO WA AI wa Sauti

Sambamba ya Vokoda ya WaveGAN

Parallel WaveGAN ni vokoda ya haraka ya neural ambayo hubadilisha mel-spectrogram kuwa muundo mbichi wa sauti kwa kutumia GAN ndogo, na kutoa sampuli zote mara moja.

Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min

Anza kusomaChukua chemsha bongo
Katika ukurasa huudk 2 kusoma
  1. Muhtasari
  2. Dive ya kina
  3. Utekelezaji wa Ulimwengu Halisi
  4. Mustakabali wa Vokoda Sambamba ya WaveGAN
  5. Kuiweka katika vitendo
  6. Endelea Kuchunguza
  7. Maswali yanayoulizwa mara kwa mara

Muhtasari

Ni muhimu kwa sababu inatoa hotuba ya karibu wakati halisi, ya ubora wa juu na muundo wa kompakt.

Dive ya kina

Vokoda ni hatua ya mwisho ya bomba la TTS: inabadilisha ramani ya kipengele cha akustisk (kawaida ni mel-spectrogram) kuwa wimbi halisi la sauti unalosikia. Sambamba WaveGAN, iliyopendekezwa na Yamamoto, Song, na Kim mwaka wa 2019, hufanya hivi kwa jenereta isiyo ya moja kwa moja ya mtindo wa WaveNet iliyofunzwa kama mtandao mzalishaji wa adui. Badala ya kutabiri sampuli moja ya sauti kwa wakati kama WaveNet asili, hutoa muundo mzima wa wimbi sambamba, na kuifanya iwe haraka sana. Kichocheo chake kikuu kinachanganya upotezaji wa pingamizi na upotezaji wa maazimio mengi wa muda mfupi wa Fourier transform (STFT), kwa hivyo modeli inalingana na mawimbi halisi katika mizani kadhaa ya saa na masafa. Matokeo yake ni jenereta ndogo (karibu na vigezo milioni 1.4) inayofanya kazi mara nyingi zaidi kuliko wakati halisi kwenye GPU.

Utekelezaji wa Ulimwengu Halisi

Toleo la sauti la wakati halisi katika visaidizi vya sauti vya rununu ambapo muda wa kusubiri na saizi ya muundo ni muhimu

Inatumika kama jenereta ya mawimbi iliyooanishwa na miundo ya akustisk kama Tacotron 2 au FastSpeech

Maandishi ya kwenye kifaa-kwa-hotuba kwa zana za ufikivu ambazo haziwezi kutegemea wingu

Mifumo ya kubadilisha sauti ambayo husanikisha upya spectrogramu zilizobadilishwa kuwa sauti za asili

Mustakabali wa Vokoda Sambamba ya WaveGAN

Sambamba WaveGAN ilisaidia kuanzisha vokoda za GAN kama chaguo-msingi la vitendo, na hasara yake ya STFT yenye maazimio mengi sasa inaonekana katika warithi kama HiFi-GAN na mifumo mingi ya utiririshaji. Mwenendo unaelekeza kwenye vokoda ndogo zaidi, za muda wa chini wa kusubiri kwa visaidizi vya kifaa, visaidizi vya kusikia, na ubadilishaji wa sauti wa moja kwa moja, pamoja na vokoda za ulimwengu wote ambazo hujumlisha hadi spika zisizoonekana. Tarajia muunganisho mkali zaidi na TTS ya mwisho hadi mwisho na utumiaji mzuri kwenye simu na chipsi zilizopachikwa.

Kuiweka katika vitendo

Kwa nini ni muhimu

  • Kufikia na kufikia. Huboresha ufikiaji kupitia manukuu, simulizi na violesura vya sauti.
  • Gharama na bajeti. Timu za media zinaweza kusafirisha sauti iliyoboreshwa haraka na bajeti ndogo.
  • Kasi na kiwango. Mifumo inayowakabili wateja inaweza kuchakata mwingiliano wa mazungumzo kwa kiwango kikubwa.

Jihadharini na

  • Hatari za matumizi mabaya ya sauti na uigaji huongezeka wakati kibali kinakosekana.
  • Usahihi unaweza kushuka katika lafudhi, lahaja au mazingira yenye kelele.
  • Sauti ya syntetisk inaweza kudhaniwa kimakosa kuwa usemi halisi bila kuweka lebo wazi.

Hatua zinazofuata

  1. Pata idhini ya moja kwa moja ya kunasa sauti, kuunda na kutumia tena.
  2. Jaribu ubora kwenye spika na hali mbalimbali za usuli.
  3. Bainisha wakati ni lazima binadamu akague au aidhinishe matokeo.
  4. Weka lebo sauti ya sintetiki na uhifadhi rekodi za asili kwa uwajibikaji.

Endelea Kuchunguza

Sauti AI

Jifunze jinsi mifumo ya usemi inavyotambua na kutoa lugha.Soma Mwongozo

Muziki wa AI

Kuelewa zana za kisasa za kizazi cha muziki na vikwazo.Soma Mwongozo

Jarida halali

Pata taarifa ya kila siku ya AI

Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.

Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.

Jijaribu mwenyewe

Take the Parallel WaveGAN Vocoder quiz

Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.

Anza chemsha bongo

Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango

Maswali yanayoulizwa mara kwa mara

Sauti ya Sambamba ya WaveGAN ni nini?

Parallel WaveGAN ni vokoda ya haraka ya neural ambayo hubadilisha mel-spectrogram kuwa muundo mbichi wa sauti kwa kutumia GAN ndogo, na kutoa sampuli zote mara moja. Ni muhimu kwa sababu inatoa hotuba ya karibu wakati halisi, yenye ubora wa juu na muundo wa kompakt.

Je, kazi ya mpiga sauti kama Parallel WaveGAN ni nini?

Vokoda ni hatua ya mwisho ya TTS ambayo huunganisha wimbi halisi la sauti kutoka kwa vipengele vya akustisk kama vile spekitirogramu ya mel.

Je, Parallel WaveGAN hutoa vipi sampuli za sauti ikilinganishwa na WaveNet asili?

Sambamba WaveGAN haibadilishi kiotomatiki, inazalisha muundo mzima wa wimbi mara moja badala ya sampuli kwa sampuli, ambayo hufanya iwe haraka zaidi.

Ni hasara gani ni muhimu kwa Parallel WaveGAN kando na hasara ya wapinzani?

Inachanganya hasara ya adui na hasara ya STFT yenye azimio nyingi ambayo inalinganisha ukubwa wa spectrogram katika mizani kadhaa.

Jenereta ya Parallel WaveGAN hutumia usanifu gani?

Jenereta ni mtandao unaofanana na WaveNet uliojengwa kutoka kwa mipasuko iliyopanuliwa, iliyowekwa kwenye spektirogramu ya mel na kelele.

Kwa nini Parallel WaveGAN inavutia kupelekwa?

Ikiwa na takribani vigezo milioni 1.4 ni ndogo na huendesha kasi mara nyingi kuliko wakati halisi, bora kwa matumizi ya kifaa.

Endelea kujifunza

Miongozo inayohusiana

Miongozo zaidi imechaguliwa kwa mada hii

Pata cheti cha AI bureKozi fupi na mtihani bila malipo. Bila kadi. Hata dakika 2.5.Anza bure →