MelGAN Generative Vocoder
MelGAN jẹ vocoder ti o da lori GAN ni kikun ti o yi mel-spectrograms sinu awọn fọọmu ohun afetigbọ aise ni ọna gbigbe siwaju kan.
Akopọ
O ṣe pataki nitori pe o fihan pe didara giga, iṣelọpọ ọrọ ti kii ṣe autoregressive le ṣiṣe awọn ọgọọgọrun igba yiyara ju akoko gidi lọ lori GPU kan.
Jin Dive
MelGAN, ti a ṣe nipasẹ Kumar et al. ni ọdun 2019, n ṣe agbejade ohun lai si ayẹwo-lọra-nipasẹ-apẹẹrẹ loop ti a lo nipasẹ WaveNet. Olupilẹṣẹ rẹ jẹ akopọ ti awọn iyipada gbigbe ti o ṣe apẹrẹ mel-spectrogram kan (eyiti o jẹ awọn ẹgbẹ igbohunsafẹfẹ 80) titi di iwọn ayẹwo ohun, pẹlu awọn bulọọki ti o ku ni lilo awọn itusilẹ ti o gbooro lati faagun aaye gbigba. Ilọtuntun bọtini ni ikẹkọ pẹlu awọn alayatọ pupọ ti n ṣiṣẹ ni awọn iwọn ohun afetigbọ oriṣiriṣi (igbi-igbi atilẹba pẹlu awọn ẹya ti a fi silẹ), ọkọọkan n wo awọn ferese agbekọja. Pipadanu ibaamu ẹya-ara ṣe afiwe awọn imuṣiṣẹ iyasoto laarin ohun gidi ati iro, imuduro ikẹkọ GAN. Awoṣe naa jẹ kekere nipasẹ awọn iṣedede ohun afetigbọ ati ṣiṣe yiyara ju akoko gidi paapaa lori Sipiyu, ti o jẹ ki o wulo fun ifibọ ati ọrọ-si-ọrọ ẹrọ.
Imọ-imọ-ẹrọ
Alataya-ọpọlọpọ iwọn MelGAN nlo awọn nẹtiwọọki aami mẹta ti n wo ohun ni kikun, idaji, ati ipinnu mẹẹdogun, igbekalẹ yiya kọọkan ni awọn sakani igbohunsafẹfẹ oriṣiriṣi. Ni pataki, MelGAN gbarale ipadanu ti o baamu ẹya-ara (aarin L1 laarin awọn maapu ẹya ara iyasoto ti ohun afetigbọ gidi vs. ti ipilẹṣẹ) dipo adanu atunkọ spectrogram ti o fojuhan, eyiti o ṣe iwuri fun olupilẹṣẹ lati baamu Layer awọn iṣiro ohun ohun gidi nipasẹ Layer.
Ipa Ilana
Wiwọle ati arọwọto
O ṣe ilọsiwaju iraye si nipasẹ transcription, alaye, ati awọn atọkun ohun.
Iye owo ati isuna
Awọn ẹgbẹ Media le firanṣẹ ohun didan yiyara pẹlu awọn isuna-owo kekere.
Iyara ati iwọn
Awọn ọna ṣiṣe ti nkọju si alabara le ṣe ilana awọn ibaraẹnisọrọ sisọ ni iwọn nla.
Ojo iwaju ti MelGAN Generative Vocoder
MelGAN ti ṣe irugbin idile ti awọn vocoders GAN. Awọn aṣeyọri rẹ, HiFi-GAN ati UnivNet, tọju ọna iyara ti kii ṣe autoregressive ṣugbọn ṣafikun akoko-ọpọlọpọ ati awọn iyasoto ipinnu-pupọ fun awọn igbohunsafẹfẹ giga mimọ. Awọn faaji n gbe lori ẹrọ ati ṣiṣanwọle TTS nibiti lairi ati ọrọ iwọn awoṣe, ati awọn imọran eleyamẹya rẹ tẹsiwaju lati ni agba awọn kodẹki nkankikan ati awọn eto iran orin nibiti ikẹkọ adversarial ṣe ilọsiwaju didara oye.
Real-World imuse
Ọrọ-si-ọrọ lori ẹrọ ni awọn oluranlọwọ alagbeka nibiti kekere, vocoder ti o yara yago fun awọn irin ajo awọsanma
Awọn opo gigun ti iyipada ohun akoko gidi ti o ṣe iyipada mel-spectrogram agbọrọsọ kan sinu ohun ibi-afẹde kan
Ere ati awọn irinṣẹ ere idaraya ti o ṣajọpọ ibaraẹnisọrọ ihuwasi lati awọn iwoye ti ipilẹṣẹ pẹlu lairi kekere
Awọn ipilẹ iwadii fun awọn GAN ohun, nibiti a ti tun lo adanu ibaamu ẹya-ara MelGAN fun orin ati iran ipa-ohun.
Awọn ewu & Awọn ọna iṣọ
ilokulo ohun ati awọn ewu afarawe ṣe pọ si nigbati igbanilaaye ba sonu.
Yiye le ju silẹ kọja awọn asẹnti, awọn ede-ede, tabi awọn agbegbe alariwo.
Ohun afetigbọ sintetiki le jẹ aṣiṣe fun ọrọ ododo laisi isamisi to yege.
Ilana Ilana imuse
Gba ifọkansi ti o fojuhan fun gbigba ohun, ti ẹda, ati ilotunlo.
Didara idanwo kọja awọn agbohunsoke oniruuru ati awọn ipo abẹlẹ.
Ṣetumo nigbati eniyan gbọdọ ṣe atunyẹwo tabi fọwọsi awọn abajade.
Aami ohun sintetiki ki o tọju awọn igbasilẹ provenance fun iṣiro.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the MelGAN Generative Vocoder quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
DiffWave Itankale Vocoder
Awọn ibeere ti a beere nigbagbogbo
Kini MelGAN Generative Vocoder?
MelGAN jẹ vocoder ti o da lori GAN ni kikun ti o yi mel-spectrograms sinu awọn fọọmu ohun afetigbọ aise ni ọna gbigbe siwaju kan. O ṣe pataki nitori pe o ṣe afihan didara-giga, iṣelọpọ ọrọ ti kii-autoregressive le ṣiṣẹ awọn ọgọọgọrun awọn akoko yiyara ju akoko gidi lọ lori GPU kan.
Iṣawọle wo ni MelGAN ṣe iyipada si ọna igbi ohun aise kan?
MelGAN jẹ olugbohunsafẹfẹ: o gba aṣoju ẹya ẹya akositiki, mel-spectrogram, ati ṣajọpọ fọọmu igbi ti o baamu.
Kini idi ti MelGAN yiyara pupọ ju WaveNet lọ ni itọkasi?
WaveNet n ṣe agbejade awọn apẹẹrẹ ọkan ni akoko kan autoregressively; Olupilẹṣẹ convolutional ti MelGAN ṣe agbejade gbogbo fọọmu igbi ni iwe-iwọle siwaju kan ti o jọra.
Apẹrẹ iyasọtọ iyasọtọ wo ni MelGAN ṣafihan?
MelGAN nlo awọn alayatọ aami kanna ti o ṣe ayẹwo fọọmu igbi atilẹba ati awọn ẹya ti a fi silẹ lati mu eto ni awọn iwọn oriṣiriṣi.
Ipadanu wo ni o ṣe iranlọwọ fun iduroṣinṣin ikẹkọ ọta MelGAN?
Ipadanu ti o baamu ẹya-ara dinku aaye L1 laarin awọn maapu ẹya ara iyasoto fun ohun gidi ati ti ipilẹṣẹ, didari olupilẹṣẹ ati ikẹkọ iduroṣinṣin.
Bawo ni olupilẹṣẹ MelGAN ṣe alekun aaye gbigba rẹ?
Awọn bulọọki ti o ku pẹlu awọn iyipo ti o gbooro gbooro aaye gbigba daradara, jẹ ki olupilẹṣẹ ṣe awoṣe igbekalẹ igba pipẹ gigun.