Awọn Vocoders nkankikan
Vocoder nkankikan jẹ awoṣe ti o yi aṣoju akositiki iwapọ kan, nigbagbogbo mel-spectrogram kan, sinu fọọmu igbi ti ngbohun gangan.
Akopọ
It is the final stage that gives modern text-to-speech and voice cloning their natural, human sound.
Jin Dive
Iṣakojọpọ ọrọ-ọrọ ti aṣa lo awọn olutọpa ti n ṣiṣẹ ifihan agbara ti o ma n dun ariwo tabi roboti nigbagbogbo. Awọn vocoders Neural kọ ẹkọ lati tun ṣe awọn ayẹwo ohun afetigbọ aise lati spectrogram nipasẹ ikẹkọ lori awọn wakati ti awọn gbigbasilẹ gidi. WaveNet (DeepMind, 2016) jẹ aṣeyọri, asọtẹlẹ ohun kan ayẹwo ni akoko kan ni awọn ayẹwo 16,000+ fun iṣẹju kan, ti n ṣejade ọrọ-ọrọ adayeba iyalẹnu ṣugbọn laiyara pupọ. Awọn awoṣe nigbamii taja igo-igo autoregressive fun iyara: WaveGlow lo iran ti o da lori sisan, Parallel WaveGAN ati MelGAN lo awọn nẹtiwọọki atako ipilẹṣẹ, ati HiFi-GAN di boṣewa olokiki nipasẹ ṣiṣẹda ohun afetigbọ 22kHz giga-giga yiyara ju akoko gidi lọ. Loni vocoder jẹ fere nigbagbogbo idaji keji ti opo gigun ti ipele meji, ti a so pọ pẹlu awoṣe akositiki bi Tacotron 2 tabi FastSpeech ti o ṣe agbejade mel-spectrogram.
Imọ-imọ-ẹrọ
A mel-spectrogram ju alaye alakoso ohun naa lọ, fifipamọ nikan bi agbara ṣe pin kaakiri awọn ẹgbẹ igbohunsafẹfẹ lori akoko. Iṣẹ lile ti vocoder naa n ṣe ẹda ti o ṣee ṣe, ọna igbi ti o ni ibamu ti titobi titobi rẹ baamu igbewọle yẹn. Awọn vocoders ti o da lori GAN bii HiFi-GAN lo awọn iyatọ pupọ ti o ṣayẹwo ifihan agbara ni awọn iwọn oriṣiriṣi ati awọn akoko asiko, titari monomono lati ṣe agbejade awọn alaye itanran ojulowo bi awọn irẹpọ ati awọn itusilẹ didasilẹ ti awọn kọnsonanti.
Ipa Ilana
Wiwọle ati arọwọto
O ṣe ilọsiwaju iraye si nipasẹ transcription, alaye, ati awọn atọkun ohun.
Iye owo ati isuna
Awọn ẹgbẹ Media le firanṣẹ ohun didan yiyara pẹlu awọn isuna-owo kekere.
Iyara ati iwọn
Awọn ọna ṣiṣe ti nkọju si alabara le ṣe ilana awọn ibaraẹnisọrọ sisọ ni iwọn nla.
Ojo iwaju ti Neural Vocoders
Vocoders n dinku ati yiyara ki wọn le ṣiṣẹ lori awọn foonu ati awọn ẹrọ ifibọ laisi asopọ awọsanma. Titari tun wa si awọn vocoders ti gbogbo agbaye ti o ṣe akopọ si eyikeyi agbọrọsọ, ede, orin, tabi paapaa ohun ti kii ṣe ọrọ laisi atunṣeto. Aṣa ti o jọra ṣe agbo vocoder taara sinu awọn eto ipari-si-opin ati awọn kodẹki neural, yiyi laini laini laarin acoustic lọtọ ati awọn ipele igbi ati idinku awọn ohun-ọṣọ ti a ṣafihan nipasẹ gbigbe nipasẹ spectrogram agbedemeji.
Real-World imuse
Ṣiṣẹda ohun afetigbọ ipari ni awọn oluranlọwọ ọrọ-si-ọrọ bii awọn oluka iboju ati awọn ohun elo lilọ kiri
Ṣiṣejade awọn ohun apanirun ti ẹda-ara ni atunkọ ati awọn irinṣẹ alaye iwe ohun
Ṣiṣe atunṣe awọn ohun orin ni orin AI ati sọfitiwia vocalist foju
Ṣiṣẹjade ohun ẹrọ lori ẹrọ fun awọn agbohunsoke ọlọgbọn ati awọn ẹrọ iraye si laisi awọn irin-ajo iyipo olupin
Awọn ewu & Awọn ọna iṣọ
ilokulo ohun ati awọn ewu afarawe ṣe pọ si nigbati igbanilaaye ba sonu.
Yiye le ju silẹ kọja awọn asẹnti, awọn ede-ede, tabi awọn agbegbe alariwo.
Ohun afetigbọ sintetiki le jẹ aṣiṣe fun ọrọ ododo laisi isamisi to yege.
Ilana Ilana imuse
Gba ifọkansi ti o fojuhan fun gbigba ohun, ti ẹda, ati ilotunlo.
Didara idanwo kọja awọn agbohunsoke oniruuru ati awọn ipo abẹlẹ.
Ṣetumo nigbati eniyan gbọdọ ṣe atunyẹwo tabi fọwọsi awọn abajade.
Aami ohun sintetiki ki o tọju awọn igbasilẹ provenance fun iṣiro.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Neural Vocoders quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
HiFi-GAN ati GAN Vocoders
Awọn ibeere ti a beere nigbagbogbo
What is Neural Vocoders?
Vocoder nkankikan jẹ awoṣe ti o yi aṣoju akositiki iwapọ kan, nigbagbogbo mel-spectrogram kan, sinu fọọmu igbi ti ngbohun gangan. O jẹ ipele ti o kẹhin ti o funni ni ọrọ-si-ọrọ ode oni ati sisọ ohun ti ara wọn, ohun eniyan.
Kini iṣẹ akọkọ ti vocoder nkankikan?
Vocoder nkankikan n gba ẹya akositiki iwapọ kan, ni igbagbogbo mel-spectrogram kan, ati ṣajọpọ fọọmu ohun afetigbọ aise gangan ti o gbọ.
Awoṣe 2016 wo ni aṣeyọri ti o jẹ ki awọn vocoders neural dun ohun adayeba?
WaveNet, lati DeepMind ni ọdun 2016, ṣe ipilẹṣẹ apẹẹrẹ ohun-nipasẹ-ayẹwo ati ṣe agbejade ọrọ iyalẹnu iyalẹnu, ti bẹrẹ akoko vocoder nkankikan.
Kini idi ti WaveNet atilẹba fi lọra lati ṣe agbejade ohun?
WaveNet jẹ autoregressive: ayẹwo ohun afetigbọ kọọkan da lori awọn ti tẹlẹ, nitorinaa ṣiṣẹda awọn ẹgbẹẹgbẹrun awọn ayẹwo fun iṣẹju kan jẹ gbowolori ni iṣiro.
Alaye wo ni mel-spectrogram kan sọnù ni pataki, ti o jẹ ki iṣẹ-ṣiṣe vocoder le siwaju sii?
Mel-spectrograms tọju titobi (agbara fun ẹgbẹ igbohunsafẹfẹ) ṣugbọn ipele ju silẹ, nitorinaa vocoder gbọdọ tun ṣe ọna igbi isokan ti ipele rẹ jẹ iṣeeṣe.
Bawo ni awọn vocoders ti o da lori GAN bii HiFi-GAN ṣe ilọsiwaju otitọ?
HiFi-GAN nlo ọpọlọpọ awọn alayatọ ti n ṣayẹwo oriṣiriṣi awọn iwọn akoko ati awọn akoko igbakọọkan, titari olupilẹṣẹ lati ṣe agbejade awọn irẹpọ ojulowo ati awọn igba diẹ.