Audio AI Itọsọna
Ni afiwe WaveGAN Vocoder
Parallel WaveGAN jẹ vocoder nkankikan ti o yara ti o yi mel-spectrogram kan sinu igbi ohun afetigbọ aise nipa lilo GAN kekere kan, ti n ṣe ipilẹṣẹ gbogbo awọn ayẹwo ni ẹẹkan.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
O ṣe pataki nitori pe o funni ni akoko gidi-gidi, ọrọ ti o ni agbara giga pẹlu awoṣe iwapọ kan.
Jin Dive
Vocoder jẹ ipele ikẹhin ti opo gigun ti epo TTS: o ṣe iyipada maapu ẹya ẹya akositiki (nigbagbogbo mel-spectrogram) sinu igbi ohun gangan ti o gbọ. Parallel WaveGAN, ti a dabaa nipasẹ Yamamoto, Song, ati Kim ni ọdun 2019, ṣe eyi pẹlu olupilẹṣẹ ara WaveNet-autoregressive ti kii ṣe ikẹkọ bi nẹtiwọọki atako ti ipilẹṣẹ. Dipo asọtẹlẹ apẹẹrẹ ohun kan ni akoko kan bii WaveNet atilẹba, o ṣe agbejade gbogbo igbi igbi ni afiwe, jẹ ki o yara yiyara. Ohunelo bọtini rẹ daapọ ipadanu adversarial pẹlu adanu akoko kukuru-pupọ Fourier transform (STFT), nitorinaa awoṣe baamu ifihan agbara gidi kọja ọpọlọpọ awọn akoko ati awọn iwọn igbohunsafẹfẹ. Abajade jẹ olupilẹṣẹ kekere (ni ayika awọn aye 1.4 million) ti o nṣiṣẹ ni ọpọlọpọ igba yiyara ju akoko gidi lọ lori GPU kan.
Real-World imuse
Iṣẹjade ọrọ akoko gidi ni awọn oluranlọwọ ohun alagbeka nibiti aisi ati iwọn awoṣe ṣe pataki
Ṣiṣẹ bi olupilẹṣẹ igbi fọọmu ti a so pọ pẹlu awọn awoṣe akositiki bii Tacotron 2 tabi FastSpeech
Ọrọ-si-ọrọ lori ẹrọ fun awọn irinṣẹ iraye si ti ko le gbarale awọsanma
Awọn ọna ṣiṣe iyipada ohun ti o tun ṣe awọn spectrogram ti o yipada si ohun afetigbọ ohun adayeba
Ojo iwaju ti Parallel WaveGAN Vocoder
Parallel WaveGAN ṣe iranlọwọ lati ṣe agbekalẹ awọn vocoders GAN bi aiyipada adaṣe, ati adanu STFT ipinnu-pupọ rẹ han ni bayi kọja awọn aṣeyọri bi HiFi-GAN ati ọpọlọpọ awọn eto ṣiṣanwọle. Ilana itọka si ọna ti o kere ju nigbagbogbo, awọn oluranlọwọ ẹrọ lori ẹrọ, awọn iranlọwọ igbọran, ati iyipada ohun laaye, pẹlu awọn vocoders agbaye ti o ṣe akopọ si awọn agbọrọsọ ti a ko rii. Reti isọpọ wiwọ pẹlu opin-si-opin TTS ati imuṣiṣẹ daradara lori alagbeka ati awọn eerun ifibọ.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Wiwọle ati arọwọto. O ṣe ilọsiwaju iraye si nipasẹ transcription, alaye, ati awọn atọkun ohun.
- Iye owo ati isuna. Awọn ẹgbẹ Media le firanṣẹ ohun didan yiyara pẹlu awọn isuna-owo kekere.
- Iyara ati iwọn. Awọn ọna ṣiṣe ti nkọju si alabara le ṣe ilana awọn ibaraẹnisọrọ sisọ ni iwọn nla.
Ṣọra fun
- ilokulo ohun ati awọn ewu afarawe ṣe pọ si nigbati igbanilaaye ba sonu.
- Yiye le ju silẹ kọja awọn asẹnti, awọn ede-ede, tabi awọn agbegbe alariwo.
- Ohun afetigbọ sintetiki le jẹ aṣiṣe fun ọrọ ododo laisi isamisi to yege.
Next awọn igbesẹ
- Gba ifọkansi ti o fojuhan fun gbigba ohun, ti ẹda, ati ilotunlo.
- Didara idanwo kọja awọn agbohunsoke oniruuru ati awọn ipo abẹlẹ.
- Ṣetumo nigbati eniyan gbọdọ ṣe atunyẹwo tabi fọwọsi awọn abajade.
- Aami ohun sintetiki ki o tọju awọn igbasilẹ provenance fun iṣiro.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the Parallel WaveGAN Vocoder quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
Kini Parallel WaveGAN Vocoder?
Parallel WaveGAN jẹ vocoder nkankikan ti o yara ti o yi mel-spectrogram kan sinu igbi ohun afetigbọ aise nipa lilo GAN kekere kan, ti n ṣe ipilẹṣẹ gbogbo awọn ayẹwo ni ẹẹkan. O ṣe pataki nitori pe o funni ni akoko gidi-gidi, ọrọ ti o ni agbara giga pẹlu awoṣe iwapọ kan.
Kini iṣẹ ti vocoder bi Parallel WaveGAN?
Vocoder jẹ ipele TTS ikẹhin ti o ṣajọpọ igbi ohun gangan lati awọn ẹya akositiki gẹgẹbi mel-spectrogram kan.
Bawo ni Parallel WaveGAN ṣe ipilẹṣẹ awọn ayẹwo ohun ni akawe pẹlu atilẹba WaveNet?
Parallel WaveGAN kii ṣe autoregressive, ti n ṣe gbogbo ọna igbi ni ẹẹkan dipo apẹẹrẹ nipasẹ apẹẹrẹ, eyiti o jẹ ki o yarayara.
Ipadanu wo ni aringbungbun si Parallel WaveGAN lẹgbẹẹ ipadanu ọta?
O daapọ ipadanu adversarial pẹlu adanu STFT ipinnu-pupọ ti o ṣe afiwe awọn iwọn spectrogram ni awọn iwọn pupọ.
Ohun faaji wo ni Parallel WaveGAN monomono lo?
Olupilẹṣẹ naa jẹ nẹtiwọọki ti o dabi WaveNet ti a ṣe lati awọn iyipada ti o gbooro, ni ilodi si lori mel-spectrogram ati ariwo.
Kini idi ti Parallel WaveGAN wuni fun imuṣiṣẹ?
Pẹlu aijọju miliọnu 1.4 o jẹ kekere ati ṣiṣe ni ọpọlọpọ igba yiyara ju akoko gidi lọ, apẹrẹ fun lilo ẹrọ.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii