WaveNet
WaveNet, ti a ṣe nipasẹ DeepMind ni ọdun 2016, jẹ nẹtiwọọki aibikita kan ti o ṣe agbejade ohun afetigbọ aise kan ayẹwo ni akoko kan, ti n ṣe agbejade ọrọ adayeba iyalẹnu ati orin.
Akopọ
O ṣeto idiwọn ode oni fun ifaramọ giga-si-ọrọ.
Jin Dive
WaveNet jẹ awoṣe ipilẹṣẹ autoregressive: o sọ asọtẹlẹ ayẹwo ohun afetigbọ kọọkan ni ilodi si gbogbo awọn ayẹwo ṣaaju rẹ, ni igbagbogbo ni awọn ayẹwo 16,000 tabi 24,000 fun iṣẹju-aaya. Ipilẹṣẹ mojuto rẹ jẹ akopọ ti awọn iyipada idii ti o gbooro. Causal tumọ si awoṣe nikan wo sẹhin ni akoko, titoju aṣẹ iran; dilation tumọ si pe Layer kọọkan fo nọmba awọn ayẹwo ti o pọ si lọpọlọpọ, nitorinaa akopọ iwọntunwọnsi bo ẹgbẹẹgbẹrun awọn ayẹwo (aaye gbigba jakejado) laisi idiyele nla. Ti o wa lori awọn ẹya ede tabi mel-spectrogram, WaveNet n ṣe agbejade ọrọ ti o jinna pupọ ju awọn oluranlọwọ concatenative ati parametric ti o ṣaju rẹ, tiipa pupọ ti aafo si awọn igbasilẹ eniyan ati agbara awọn ẹya ibẹrẹ ti Google Iranlọwọ.
Imọ-imọ-ẹrọ
Awọn convolutions dilate jẹ ẹtan bọtini: pẹlu awọn oṣuwọn dilation ti 1, 2, 4, 8, ati bẹbẹ lọ, nẹtiwọọki kan nikan mewa ti awọn fẹlẹfẹlẹ ti o jinlẹ le lọ si ẹgbẹẹgbẹrun awọn ayẹwo ti o kọja, yiya awọn alaye igbi ti o dara mejeeji ati igbekalẹ prosodic gigun. Awọn awoṣe ti o jade ni iye ayẹwo kọọkan bi pinpin ipin kan (ni akọkọ awọn ipele 256 nipasẹ companding mu-law), ati awọn ẹya imuṣiṣẹ gated pẹlu iṣẹku ati awọn asopọ fofo ṣe idaduro ikẹkọ ti akopọ ti o jinlẹ pupọ.
Ipa Ilana
Wiwọle ati arọwọto
O ṣe ilọsiwaju iraye si nipasẹ transcription, alaye, ati awọn atọkun ohun.
Iye owo ati isuna
Awọn ẹgbẹ Media le firanṣẹ ohun didan yiyara pẹlu awọn isuna-owo kekere.
Iyara ati iwọn
Awọn ọna ṣiṣe ti nkọju si alabara le ṣe ilana awọn ibaraẹnisọrọ sisọ ni iwọn nla.
Ojo iwaju ti WaveNet
Atilẹba WaveNet lọra nitori iṣapẹẹrẹ jẹ lẹsẹsẹ. Awọn aṣeyọri ṣe atunṣe eyi: Parallel WaveNet ati WaveRNN ṣiṣẹ iṣelọpọ akoko gidi, ati nigbamii sisan- ati awọn vocoders orisun GAN bii WaveGlow ati HiFi-GAN, pẹlu awọn vocoders kaakiri, titari didara ati iyara siwaju. WaveNet's autoregressive, awọn imọran ti o gbooro-convolution n gbe lori ninu awọn ọna ṣiṣe wọnyi ati awọn ile-itumọ ti o ni ipa daradara ju ohun afetigbọ lọ, ni jijẹ ohun-iní rẹ̀ ni awoṣe ipilẹṣẹ.
Real-World imuse
Ṣiṣẹda awọn ohun ti o dun adayeba fun Google Iranlọwọ ati Google Awọsanma Ọrọ-si-Ọrọ
Ṣiṣẹ bi vocoder nkankikan ti o yi mel-spectrograms si awọn fọọmu igbi ni awọn paipu TTS bii Tacotron 2
Ṣiṣẹpọ piano ojulowo ati orin irinse lati ohun aise
Iṣakojọpọ ohun fun awọn irinṣẹ iraye si ati alaye iwe ohun
Awọn ewu & Awọn ọna iṣọ
ilokulo ohun ati awọn ewu afarawe ṣe pọ si nigbati igbanilaaye ba sonu.
Yiye le ju silẹ kọja awọn asẹnti, awọn ede-ede, tabi awọn agbegbe alariwo.
Ohun afetigbọ sintetiki le jẹ aṣiṣe fun ọrọ ododo laisi isamisi to yege.
Ilana Ilana imuse
Gba ifọkansi ti o fojuhan fun gbigba ohun, ti ẹda, ati ilotunlo.
Didara idanwo kọja awọn agbohunsoke oniruuru ati awọn ipo abẹlẹ.
Ṣetumo nigbati eniyan gbọdọ ṣe atunyẹwo tabi fọwọsi awọn abajade.
Aami ohun sintetiki ki o tọju awọn igbasilẹ provenance fun iṣiro.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the WaveNet quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Wiwa Deepfake Audio
Awọn ibeere ti a beere nigbagbogbo
Kini WaveNet?
WaveNet, ti a ṣe nipasẹ DeepMind ni ọdun 2016, jẹ nẹtiwọọki aibikita kan ti o ṣe agbejade ohun afetigbọ aise kan ayẹwo ni akoko kan, ti n ṣe agbejade ọrọ adayeba iyalẹnu ati orin. O ṣeto boṣewa ode oni fun iṣootọ giga-si-ọrọ.
Bawo ni WaveNet ṣe ṣe agbejade ohun?
WaveNet jẹ autoregressive: o ṣe asọtẹlẹ ayẹwo ohun afetigbọ kọọkan ti o da lori awọn ayẹwo ti o wa ṣaaju rẹ.
Kini isọdọtun convolutional bọtini ni WaveNet?
Awọn iyipada idii ti o tan jẹ ki nẹtiwọọki bo ẹgbẹẹgbẹrun awọn ayẹwo ti o kọja daradara lakoko ti o n wo sẹhin nikan ni akoko.
Kini idi ti dilation ṣe iranlọwọ WaveNet?
Awọn oṣuwọn dilation ti o pọ si ni afikun fun aaye gbigba jakejado lori ẹgbẹẹgbẹrun awọn ayẹwo pẹlu awọn fẹlẹfẹlẹ diẹ diẹ.
Kini apadabọ ilowo pataki ti WaveNet atilẹba?
Nitoripe ayẹwo kọọkan da lori awọn ti tẹlẹ, iran jẹ lẹsẹsẹ ati nitorinaa o lọra, iwuri Parallel WaveNet ati awọn aṣeyọri miiran.
Ninu opo gigun ti epo-si-ọrọ, WaveNet nigbagbogbo n ṣiṣẹ bi kini?
WaveNet le gba mel-spectrogram (fun apẹẹrẹ, lati Tacotron 2) ki o si ṣe agbejade igbi igbi ti o pari-ipari.