Vocoder Da lori Sisan WaveGlow
WaveGlow jẹ vocoder ti iṣan ti o da lori sisan lati NVIDIA ti o ṣepọ awọn ọna igbi ọrọ lati awọn iwoye mel-spectrogram ni iwe-iwọle ẹyọkan laisi isọdọtun.
Akopọ
It matters because it delivers high-quality audio faster than real time using only a simple likelihood loss.
Jin Dive
WaveGlow, ti a tu silẹ nipasẹ Prenger, Valle, ati Catanzaro ni NVIDIA ni ọdun 2018, daapọ awọn imọran lati Glow ati WaveNet lati kọ vocoder kan ti o yara ati irọrun lati kọ. Ko dabi awọn vocoders GAN, o jẹ ṣiṣan deede: o kọ ẹkọ aworan agbaye ti ko yipada laarin pinpin Gaussian ti o rọrun ati fọọmu ohun afetigbọ, ti o ni ilodi si lori mel-spectrogram. Idanileko n mu iwọn ṣiṣe deede ti data naa pọ si, nitorinaa ko nilo alayatọ lọtọ, ko si ipadasẹhin adaṣe, ati pe ko si distillation olukọ-nẹtiwọọki meji ti ọmọ ile-iwe ti awọn isunmọ WaveNet ni afiwe tẹlẹ nilo. Lati ṣe agbejade ohun o ṣe apẹẹrẹ ariwo Gaussian ati ṣiṣe nẹtiwọọki invertible ni yiyipada. WaveGlow ṣe agbejade ọrọ ti didara afiwera si WaveNet lakoko ti o n ṣepọ ni iyara pupọ ju akoko gidi lọ lori GPU ode oni.
Imọ-imọ-ẹrọ
WaveGlow ṣe akopọ awọn igbesẹ sisan ti a ko le yipada, ọkọọkan n ṣajọpọ Layer idapọpọ affin pẹlu iyipada 1x1 invertible ti a yawo lati Glow. Awọn ayẹwo ohun ti wa ni akojọpọ si awọn onijagidijagan nipasẹ iṣiṣẹ fun pọ nitoribẹẹ awọn fẹlẹfẹlẹ idapọ le yi wọn pada daradara. Nitoripe gbogbo igbesẹ jẹ iyipada, itọsọna siwaju ṣe iṣiro iṣeeṣe fun ikẹkọ ati ariwo awọn maapu itọsọna yiyipada si ohun fun itọkasi. Nẹtiwọọki ẹyọkan ati ibi-afẹde log-odi kan jẹ ki ikẹkọ jẹ iduroṣinṣin ni pataki ati rọrun.
Ipa Ilana
Wiwọle ati arọwọto
O ṣe ilọsiwaju iraye si nipasẹ transcription, alaye, ati awọn atọkun ohun.
Iye owo ati isuna
Awọn ẹgbẹ Media le firanṣẹ ohun didan yiyara pẹlu awọn isuna-owo kekere.
Iyara ati iwọn
Awọn ọna ṣiṣe ti nkọju si alabara le ṣe ilana awọn ibaraẹnisọrọ sisọ ni iwọn nla.
Ojo iwaju ti WaveGlow Flow-orisun Vocoder
WaveGlow ṣe afihan pe awọn vocoders ṣiṣan mimọ le dije didara autoregressive, ni ipa sisan nigbamii ati awọn awoṣe ohun afetigbọ ti o baamu. Ayedero-pipadanu ẹyọkan rẹ jẹ iwunilori, botilẹjẹpe awọn vocoders GAN bii HiFi-GAN nigbagbogbo bori lori iwọn ati iyara. Wiwa iwaju, orisun-sisan ati awọn imọran ibamu-sisan ti n tunṣe ni isunmọ ti ode oni ti o wa nitosi TTS, ati awọn aṣa invertible-style WaveGlow tẹsiwaju lati sọ fun iwadii lori iṣeeṣe-gangan, iṣakoso, ati iran igbi ti o munadoko.
Real-World imuse
Pipọpọ pẹlu Tacotron 2 ninu opo gigun ti epo TTS ti NVIDIA lati ṣe agbejade ọrọ didara ile-iṣere adayeba
Asopọmọra ọrọ-ọrọ GPU yara fun alaye, atunkọ, ati ṣiṣiṣẹda akoonu akoonu
Ṣiṣẹda ikẹkọ ati ohun demo ni iwadii nibiti iduroṣinṣin, ikẹkọ pipadanu ẹyọkan jẹ ayanfẹ
Iṣẹjade ohun ti o lagbara-akoko ni awọn ọna ṣiṣe ibaraenisepo ti o ṣiṣẹ lori ohun elo NVIDIA
Awọn ewu & Awọn ọna iṣọ
ilokulo ohun ati awọn ewu afarawe ṣe pọ si nigbati igbanilaaye ba sonu.
Yiye le ju silẹ kọja awọn asẹnti, awọn ede-ede, tabi awọn agbegbe alariwo.
Ohun afetigbọ sintetiki le jẹ aṣiṣe fun ọrọ ododo laisi isamisi to yege.
Ilana Ilana imuse
Gba ifọkansi ti o fojuhan fun gbigba ohun, ti ẹda, ati ilotunlo.
Didara idanwo kọja awọn agbohunsoke oniruuru ati awọn ipo abẹlẹ.
Ṣetumo nigbati eniyan gbọdọ ṣe atunyẹwo tabi fọwọsi awọn abajade.
Aami ohun sintetiki ki o tọju awọn igbasilẹ provenance fun iṣiro.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the WaveGlow Flow-Based Vocoder quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Ibamu Ọrọ Iran Sisan-Ohùnbox
Awọn ibeere ti a beere nigbagbogbo
What is WaveGlow Flow-Based Vocoder?
WaveGlow jẹ vocoder ti iṣan ti o da lori sisan lati NVIDIA ti o ṣepọ awọn ọna igbi ọrọ lati awọn iwoye mel-spectrogram ni iwe-iwọle ẹyọkan laisi isọdọtun. O ṣe pataki nitori pe o mu ohun afetigbọ didara ga ni iyara ju akoko gidi lọ ni lilo pipadanu o ṣeeṣe ti o rọrun.
WaveGlow daapọ awọn imọran ayaworan lati inu wo ni awọn awoṣe meji?
WaveGlow fuses invertible sisan ọna ti Glow pẹlu awọn iwe-awoṣe oniru ti WaveNet.
Iru awoṣe wo ni WaveGlow?
WaveGlow jẹ sisan deede ti o kọ ẹkọ maapu ti ko yipada laarin ariwo Gaussian ati ohun.
Bawo ni WaveGlow ṣe ṣe ipilẹṣẹ igbi ni akoko itọkasi?
Nitori nẹtiwọki jẹ invertible, o fa Gaussian ariwo ati ṣiṣe awọn sisan pada, iloniniye lori mel-spectrogram.
Idi wo ni WaveGlow ṣe iṣapeye lakoko ikẹkọ?
Gẹgẹbi sisan, WaveGlow mu ki o ṣeeṣe log-ipese gaan, ko nilo iyasoto tabi distillation.
Awọn paati meji wo ni o jẹ igbesẹ invertible kọọkan ni WaveGlow?
Igbesẹ ṣiṣan kọọkan so Layer idapọpọ affin pẹlu iyipada 1x1 ti ko le yipada ti a gba lati Glow.