Ni afiwe WaveGAN Vocoder
Parallel WaveGAN jẹ vocoder nkankikan ti o yara ti o yi mel-spectrogram kan sinu igbi ohun afetigbọ aise nipa lilo GAN kekere kan, ti n ṣe ipilẹṣẹ gbogbo awọn ayẹwo ni ẹẹkan.
Akopọ
It matters because it gives near-real-time, high-quality speech with a compact model.
Jin Dive
Vocoder jẹ ipele ikẹhin ti opo gigun ti epo TTS: o ṣe iyipada maapu ẹya ẹya akositiki (nigbagbogbo mel-spectrogram) sinu igbi ohun gangan ti o gbọ. Parallel WaveGAN, ti a dabaa nipasẹ Yamamoto, Song, ati Kim ni ọdun 2019, ṣe eyi pẹlu olupilẹṣẹ ara WaveNet-autoregressive ti kii ṣe ikẹkọ bi nẹtiwọọki atako ti ipilẹṣẹ. Dipo asọtẹlẹ apẹẹrẹ ohun kan ni akoko kan bii WaveNet atilẹba, o ṣe agbejade gbogbo igbi igbi ni afiwe, jẹ ki o yara yiyara. Ohunelo bọtini rẹ daapọ ipadanu adversarial pẹlu adanu akoko kukuru-pupọ Fourier transform (STFT), nitorinaa awoṣe baamu ifihan agbara gidi kọja ọpọlọpọ awọn akoko ati awọn iwọn igbohunsafẹfẹ. Abajade jẹ olupilẹṣẹ kekere (ni ayika awọn aye 1.4 million) ti o nṣiṣẹ ni ọpọlọpọ igba yiyara ju akoko gidi lọ lori GPU kan.
Imọ-imọ-ẹrọ
Olupilẹṣẹ jẹ nẹtiwọọki ti o gbooro-convolution ti o ni iloniniye lori mel-spectrogram ati igbewọle ariwo kan, ariwo aworan aworan pẹlu awọn ẹya taara si awọn ayẹwo. Ikẹkọ ni apapọ dinku ipadanu STFT ipinnu-pupọ, ti a ṣe iṣiro nipasẹ fifiwera awọn iwoye titobi ni ọpọlọpọ awọn iwọn FFT ati awọn gigun hop, ati ipadanu ọta lati ọdọ ẹlẹyamẹya ti n ṣe idajọ otitọ. Oro STFT naa ṣe iduro ati mu ikẹkọ adversarial pọ si, yiya awọn alaye ti o dara mejeeji ati apẹrẹ irisi gbooro laisi distillation.
Ipa Ilana
Wiwọle ati arọwọto
O ṣe ilọsiwaju iraye si nipasẹ transcription, alaye, ati awọn atọkun ohun.
Iye owo ati isuna
Awọn ẹgbẹ Media le firanṣẹ ohun didan yiyara pẹlu awọn isuna-owo kekere.
Iyara ati iwọn
Awọn ọna ṣiṣe ti nkọju si alabara le ṣe ilana awọn ibaraẹnisọrọ sisọ ni iwọn nla.
Ojo iwaju ti Parallel WaveGAN Vocoder
Parallel WaveGAN ṣe iranlọwọ lati ṣe agbekalẹ awọn vocoders GAN bi aiyipada adaṣe, ati adanu STFT ipinnu-pupọ rẹ han ni bayi kọja awọn aṣeyọri bi HiFi-GAN ati ọpọlọpọ awọn eto ṣiṣanwọle. Ilana itọka si ọna ti o kere ju nigbagbogbo, awọn oluranlọwọ ẹrọ lori ẹrọ, awọn iranlọwọ igbọran, ati iyipada ohun laaye, pẹlu awọn vocoders agbaye ti o ṣe akopọ si awọn agbọrọsọ ti a ko rii. Reti isọpọ wiwọ pẹlu opin-si-opin TTS ati imuṣiṣẹ daradara lori alagbeka ati awọn eerun ifibọ.
Real-World imuse
Iṣẹjade ọrọ akoko gidi ni awọn oluranlọwọ ohun alagbeka nibiti aisi ati iwọn awoṣe ṣe pataki
Ṣiṣẹ bi olupilẹṣẹ igbi fọọmu ti a so pọ pẹlu awọn awoṣe akositiki bii Tacotron 2 tabi FastSpeech
Ọrọ-si-ọrọ lori ẹrọ fun awọn irinṣẹ iraye si ti ko le gbarale awọsanma
Awọn ọna ṣiṣe iyipada ohun ti o tun ṣe awọn spectrogram ti o yipada si ohun afetigbọ ohun adayeba
Awọn ewu & Awọn ọna iṣọ
ilokulo ohun ati awọn ewu afarawe ṣe pọ si nigbati igbanilaaye ba sonu.
Yiye le ju silẹ kọja awọn asẹnti, awọn ede-ede, tabi awọn agbegbe alariwo.
Ohun afetigbọ sintetiki le jẹ aṣiṣe fun ọrọ ododo laisi isamisi to yege.
Ilana Ilana imuse
Gba ifọkansi ti o fojuhan fun gbigba ohun, ti ẹda, ati ilotunlo.
Didara idanwo kọja awọn agbohunsoke oniruuru ati awọn ipo abẹlẹ.
Ṣetumo nigbati eniyan gbọdọ ṣe atunyẹwo tabi fọwọsi awọn abajade.
Aami ohun sintetiki ki o tọju awọn igbasilẹ provenance fun iṣiro.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Parallel WaveGAN Vocoder quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
MelGAN Generative Vocoder
Awọn ibeere ti a beere nigbagbogbo
What is Parallel WaveGAN Vocoder?
Parallel WaveGAN jẹ vocoder nkankikan ti o yara ti o yi mel-spectrogram kan sinu igbi ohun afetigbọ aise nipa lilo GAN kekere kan, ti n ṣe ipilẹṣẹ gbogbo awọn ayẹwo ni ẹẹkan. O ṣe pataki nitori pe o funni ni akoko gidi-gidi, ọrọ ti o ni agbara giga pẹlu awoṣe iwapọ kan.
Kini iṣẹ ti vocoder bi Parallel WaveGAN?
Vocoder jẹ ipele TTS ikẹhin ti o ṣajọpọ igbi ohun gangan lati awọn ẹya akositiki gẹgẹbi mel-spectrogram kan.
Bawo ni Parallel WaveGAN ṣe ipilẹṣẹ awọn ayẹwo ohun ni akawe pẹlu atilẹba WaveNet?
Parallel WaveGAN kii ṣe autoregressive, ti n ṣe gbogbo ọna igbi ni ẹẹkan dipo apẹẹrẹ nipasẹ apẹẹrẹ, eyiti o jẹ ki o yarayara.
Ipadanu wo ni aringbungbun si Parallel WaveGAN lẹgbẹẹ ipadanu ọta?
O daapọ ipadanu adversarial pẹlu adanu STFT ipinnu-pupọ ti o ṣe afiwe awọn iwọn spectrogram ni awọn iwọn pupọ.
Ohun faaji wo ni Parallel WaveGAN monomono lo?
Olupilẹṣẹ naa jẹ nẹtiwọọki ti o dabi WaveNet ti a ṣe lati awọn iyipada ti o gbooro, ni ilodi si lori mel-spectrogram ati ariwo.
Kini idi ti Parallel WaveGAN wuni fun imuṣiṣẹ?
Pẹlu aijọju miliọnu 1.4 o jẹ kekere ati ṣiṣe ni ọpọlọpọ igba yiyara ju akoko gidi lọ, apẹrẹ fun lilo ẹrọ.