Audio AI Itọsọna
Vocoder Da lori Sisan WaveGlow
WaveGlow jẹ vocoder ti iṣan ti o da lori sisan lati NVIDIA ti o ṣepọ awọn ọna igbi ọrọ lati awọn iwoye mel-spectrogram ni iwe-iwọle ẹyọkan laisi isọdọtun.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
It matters because it delivers high-quality audio faster than real time using only a simple likelihood loss.
Jin Dive
WaveGlow, ti a tu silẹ nipasẹ Prenger, Valle, ati Catanzaro ni NVIDIA ni ọdun 2018, daapọ awọn imọran lati Glow ati WaveNet lati kọ vocoder kan ti o yara ati irọrun lati kọ. Ko dabi awọn vocoders GAN, o jẹ ṣiṣan deede: o kọ ẹkọ aworan agbaye ti ko yipada laarin pinpin Gaussian ti o rọrun ati fọọmu ohun afetigbọ, ti o ni ilodi si lori mel-spectrogram. Idanileko n mu iwọn ṣiṣe deede ti data naa pọ si, nitorinaa ko nilo alayatọ lọtọ, ko si ipadasẹhin adaṣe, ati pe ko si distillation olukọ-nẹtiwọọki meji ti ọmọ ile-iwe ti awọn isunmọ WaveNet ni afiwe tẹlẹ nilo. Lati ṣe agbejade ohun o ṣe apẹẹrẹ ariwo Gaussian ati ṣiṣe nẹtiwọọki invertible ni yiyipada. WaveGlow ṣe agbejade ọrọ ti didara afiwera si WaveNet lakoko ti o n ṣepọ ni iyara pupọ ju akoko gidi lọ lori GPU ode oni.
Real-World imuse
Pipọpọ pẹlu Tacotron 2 ninu opo gigun ti epo TTS ti NVIDIA lati ṣe agbejade ọrọ didara ile-iṣere adayeba
Asopọmọra ọrọ-ọrọ GPU yara fun alaye, atunkọ, ati ṣiṣiṣẹda akoonu akoonu
Ṣiṣẹda ikẹkọ ati ohun demo ni iwadii nibiti iduroṣinṣin, ikẹkọ pipadanu ẹyọkan jẹ ayanfẹ
Iṣẹjade ohun ti o lagbara-akoko ni awọn ọna ṣiṣe ibaraenisepo ti o ṣiṣẹ lori ohun elo NVIDIA
Ojo iwaju ti WaveGlow Flow-orisun Vocoder
WaveGlow ṣe afihan pe awọn vocoders ṣiṣan mimọ le dije didara autoregressive, ni ipa sisan nigbamii ati awọn awoṣe ohun afetigbọ ti o baamu. Ayedero-pipadanu ẹyọkan rẹ jẹ iwunilori, botilẹjẹpe awọn vocoders GAN bii HiFi-GAN nigbagbogbo bori lori iwọn ati iyara. Wiwa iwaju, orisun-sisan ati awọn imọran ibamu-sisan ti n tunṣe ni isunmọ ti ode oni ti o wa nitosi TTS, ati awọn aṣa invertible-style WaveGlow tẹsiwaju lati sọ fun iwadii lori iṣeeṣe-gangan, iṣakoso, ati iran igbi ti o munadoko.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Wiwọle ati arọwọto. O ṣe ilọsiwaju iraye si nipasẹ transcription, alaye, ati awọn atọkun ohun.
- Iye owo ati isuna. Awọn ẹgbẹ Media le firanṣẹ ohun didan yiyara pẹlu awọn isuna-owo kekere.
- Iyara ati iwọn. Awọn ọna ṣiṣe ti nkọju si alabara le ṣe ilana awọn ibaraẹnisọrọ sisọ ni iwọn nla.
Ṣọra fun
- ilokulo ohun ati awọn ewu afarawe ṣe pọ si nigbati igbanilaaye ba sonu.
- Yiye le ju silẹ kọja awọn asẹnti, awọn ede-ede, tabi awọn agbegbe alariwo.
- Ohun afetigbọ sintetiki le jẹ aṣiṣe fun ọrọ ododo laisi isamisi to yege.
Next awọn igbesẹ
- Gba ifọkansi ti o fojuhan fun gbigba ohun, ti ẹda, ati ilotunlo.
- Didara idanwo kọja awọn agbohunsoke oniruuru ati awọn ipo abẹlẹ.
- Ṣetumo nigbati eniyan gbọdọ ṣe atunyẹwo tabi fọwọsi awọn abajade.
- Aami ohun sintetiki ki o tọju awọn igbasilẹ provenance fun iṣiro.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the WaveGlow Flow-Based Vocoder quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
What is WaveGlow Flow-Based Vocoder?
WaveGlow jẹ vocoder ti iṣan ti o da lori sisan lati NVIDIA ti o ṣepọ awọn ọna igbi ọrọ lati awọn iwoye mel-spectrogram ni iwe-iwọle ẹyọkan laisi isọdọtun. O ṣe pataki nitori pe o mu ohun afetigbọ didara ga ni iyara ju akoko gidi lọ ni lilo pipadanu o ṣeeṣe ti o rọrun.
WaveGlow daapọ awọn imọran ayaworan lati inu wo ni awọn awoṣe meji?
WaveGlow fuses invertible sisan ọna ti Glow pẹlu awọn iwe-awoṣe oniru ti WaveNet.
Iru awoṣe wo ni WaveGlow?
WaveGlow jẹ sisan deede ti o kọ ẹkọ maapu ti ko yipada laarin ariwo Gaussian ati ohun.
Bawo ni WaveGlow ṣe ṣe ipilẹṣẹ igbi ni akoko itọkasi?
Nitori nẹtiwọki jẹ invertible, o fa Gaussian ariwo ati ṣiṣe awọn sisan pada, iloniniye lori mel-spectrogram.
Idi wo ni WaveGlow ṣe iṣapeye lakoko ikẹkọ?
Gẹgẹbi sisan, WaveGlow mu ki o ṣeeṣe log-ipese gaan, ko nilo iyasoto tabi distillation.
Awọn paati meji wo ni o jẹ igbesẹ invertible kọọkan ni WaveGlow?
Igbesẹ ṣiṣan kọọkan so Layer idapọpọ affin pẹlu iyipada 1x1 ti ko le yipada ti a gba lati Glow.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii