UnivNet Olona-o ga Vocoder
UnivNet jẹ olugbohunsafẹfẹ GAN kan ti o ṣe idajọ ohun afetigbọ nipa lilo awọn iwoye iwoye pupọ ti a ṣe iṣiro ni oriṣiriṣi awọn ipinnu STFT, didasilẹ alaye igbohunsafẹfẹ giga.
Akopọ
It aims to be a universal vocoder that generalizes well to unseen speakers and recording conditions.
Jin Dive
UnivNet, ti a dabaa nipasẹ Jang et al. ni ọdun 2021, koju ailagbara ti o wọpọ si awọn vocoders GAN: muffled tabi awọn igbohunsafẹfẹ giga ti ohun-ọṣọ. Awọn ipo monomono rẹ lori awọn ẹgbẹ-ikun-kikun mel-spectrograms ati lilo awọn iyipada ipo-ayipada (LVC), nibiti awọn kernels convolution ti ṣe asọtẹlẹ lori fo lati awọn ẹya igbewọle ki àlẹmọ naa ṣe deede si akoonu agbegbe. Ero akọle ni iyasoto spectrogram olona-ipinnu (MRSD): dipo ṣiṣe idajọ nikan igbi igbi aise, UnivNet ṣe iṣiro ọpọlọpọ awọn STFT pẹlu oriṣiriṣi awọn window ati awọn titobi hop ati ṣiṣe awọn iyasoto lori awọn titobi spectrogram wọnyẹn. Eyi n tẹ olupilẹṣẹ lati gba awọn alaye iwoye ti o dara mejeeji ati igbekalẹ igba pipẹ ni ẹtọ. Ti ikẹkọ lori ọpọlọpọ awọn agbohunsoke, UnivNet ṣe agbejade ọrọ adayeba fun awọn ohun ti ko rii rara lakoko ikẹkọ, n gba aami agbaye rẹ.
Imọ-imọ-ẹrọ
Iyipada ipo-iyipada UnivNet n ṣe agbekalẹ awọn iwuwo ekuro rẹ ni agbara lati awọn ẹya milimita mimu nipasẹ nẹtiwọọki kernel-sọsọtẹlẹ, nitorinaa igbesẹ akoko kọọkan ni imunadoko ni àlẹmọ-aṣamubadọgba akoonu dipo ekuro pinpin ti o wa titi. Ni idapọ pẹlu iyasọtọ spectrogram olona-ipinnu, eyiti o kọja ọpọlọpọ awọn iṣowo-igbohunsafẹfẹ akoko nigbakanna, eyi taara ni idojukọ ẹgbẹ igbohunsafẹfẹ giga nibiti awọn vocoders GAN ti o rọrun julọ ṣọ lati blur tabi hum.
Ipa Ilana
Wiwọle ati arọwọto
O ṣe ilọsiwaju iraye si nipasẹ transcription, alaye, ati awọn atọkun ohun.
Iye owo ati isuna
Awọn ẹgbẹ Media le firanṣẹ ohun didan yiyara pẹlu awọn isuna-owo kekere.
Iyara ati iwọn
Awọn ọna ṣiṣe ti nkọju si alabara le ṣe ilana awọn ibaraẹnisọrọ sisọ ni iwọn nla.
Ojo iwaju ti UnivNet Olona-opinnu Vocoder
Iyasọtọ spectrogram olona-opin ti UnivNet ti di ohun elo boṣewa ni awọn akopọ TTS ode oni ati awọn eto ti o ni ipa bii BigVGAN ati awọn kodẹki ohun afetigbọ. Reti gbogbo agbaye, igbesọ-agnostic ti agbọrọsọ lati tẹsiwaju lati faagun si ọna orin orin, iṣelọpọ ede pupọ, ati ohun afetigbọ ni kikun 48 kHz, lakoko ti imọran ekuro-ekuro n ṣe alaye daradara lori ẹrọ awọn awoṣe ti o gbọdọ mu awọn ohun oniruuru mu laisi atunṣe itanran fun agbọrọsọ kọọkan.
Real-World imuse
Awọn iṣẹ TTS agbọrọsọ olona ti o gbọdọ dun adayeba lori awọn ohun ti ko wa ni data ikẹkọ
Awọn opo gigun ti cloning ohun nibiti vocoder agbaye kan ti nṣe iranṣẹ ọpọlọpọ awọn agbọrọsọ ibi-afẹde
Iwe ohun afetigbọ giga-giga ati alaye adarọ-ese ti o nilo sibilance agaran ati awọn igbohunsafẹfẹ giga
Vocoder afẹhinti fun awọn eto TTS ipari-si-opin ti o somọ asọtẹlẹ spectrogram kan pẹlu olupilẹṣẹ igbi ti o lagbara
Awọn ewu & Awọn ọna iṣọ
ilokulo ohun ati awọn ewu afarawe ṣe pọ si nigbati igbanilaaye ba sonu.
Yiye le ju silẹ kọja awọn asẹnti, awọn ede-ede, tabi awọn agbegbe alariwo.
Ohun afetigbọ sintetiki le jẹ aṣiṣe fun ọrọ ododo laisi isamisi to yege.
Ilana Ilana imuse
Gba ifọkansi ti o fojuhan fun gbigba ohun, ti ẹda, ati ilotunlo.
Didara idanwo kọja awọn agbohunsoke oniruuru ati awọn ipo abẹlẹ.
Ṣetumo nigbati eniyan gbọdọ ṣe atunyẹwo tabi fọwọsi awọn abajade.
Aami ohun sintetiki ki o tọju awọn igbasilẹ provenance fun iṣiro.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the UnivNet Multi-Resolution Vocoder quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Awọn Vocoders nkankikan
Awọn ibeere ti a beere nigbagbogbo
What is UnivNet Multi-Resolution Vocoder?
UnivNet jẹ olugbohunsafẹfẹ GAN kan ti o ṣe idajọ ohun afetigbọ nipa lilo awọn iwoye iwoye pupọ ti a ṣe iṣiro ni oriṣiriṣi awọn ipinnu STFT, didasilẹ alaye igbohunsafẹfẹ giga. O ṣe ifọkansi lati jẹ vocoder gbogbo agbaye ti o ṣe akopọ daradara si awọn agbohunsoke ti a ko rii ati awọn ipo gbigbasilẹ.
Kini ẹya ibuwọlu ti iyasọtọ UnivNet?
UnivNet's multi-o ga spectrogram discriminator itupale ọpọlọpọ awọn STFT pẹlu oriṣiriṣi window ati awọn titobi hop lati mu oriṣiriṣi awọn iṣowo-igbohunsafẹfẹ akoko.
Iṣoro wo ni awọn vocoders GAN tẹlẹ ni UnivNet ni idojukọ pataki?
Nipa iyasoto kọja awọn ipinnu spectrogram pupọ, UnivNet ṣe ilọsiwaju alaye-igbohunsafẹfẹ giga ti awọn vocoders GAN ti o rọrun nigbagbogbo nigbagbogbo blur.
Kini awọn iyipada ipo-ayipada (LVC) ni UnivNet?
LVC nlo nẹtiwọọki asọtẹlẹ-kernel nitoribẹẹ ipo kọọkan lo awọn asẹ-aṣamubadọgba akoonu ti o wa lati inu mel-spectrogram ti o ni agbara.
Kini idi ti UnivNet ṣe apejuwe bi olugbohunsafẹfẹ gbogbo agbaye?
Ti ikẹkọ lori ọpọlọpọ awọn agbohunsoke, UnivNet ṣajọpọ ọrọ adayeba paapaa fun awọn ohun ti ko ba pade ni ikẹkọ, nitorinaa gbogbo agbaye.
Bawo ni iyasọtọ spectrogram ti o ga pupọ ṣe iranlọwọ fun olupilẹṣẹ naa?
Awọn ipinnu STFT oriṣiriṣi tẹnumọ oriṣiriṣi awọn iṣowo-igbohunsafẹfẹ akoko-akoko, nitorinaa ibaamu gbogbo wọn titari olupilẹṣẹ si alaye deede ati eto.