DalšíDalší průvodce
Paralelní WaveGAN Vocoder
Zvuková AI
Zvukový průvodce AI
HiFi-GAN je generativní-adversariální vokodér, který téměř okamžitě přemění mel-spektrogram na surový zvukový průběh a produkuje řeč ve studiové kvalitě mnohem rychleji než v reálném čase.
Poslechněte si tento návodAI-vyprávěný · ~2 min
It became the standard final stage of modern text-to-speech because it is fast, lightweight, and hard to distinguish from real recordings.
Vokodér je posledním krokem ve většině potrubí TTS: model jako Tacotron nebo FastSpeech předpovídá mel-spektrogram (kompaktní obraz frekvence v průběhu času) a vokodér vyplní skutečné vzorky tvaru vlny. Rané neurální vokodéry jako WaveNet zněly skvěle, ale generovaly zvuk vzorek po vzorku, takže byly bolestně pomalé. HiFi-GAN, vydaný Kongem, Kimem a Bae v roce 2020, nahradil tuto autoregresivní smyčku jediným dopředným generátorem trénovaným protichůdně. Jeho klíčovým trikem je použití více diskriminátorů, které posuzují zvuk v různých měřítcích a v různých periodických vzorcích, což nutí generátor, aby získal správnou jemnou texturu i periodicitu výšky tónu. Výsledkem je 22 kHz řeč syntetizovaná stokrát rychleji než v reálném čase na GPU, s kvalitou konkurující skutečnému zvuku.
Generování mluveného výstupu virtuálních asistentů a navigačních aplikací, které vyžadují odezvy bez slyšitelného zpoždění.
Pohání nástroje pro klonování hlasu a dabing v reálném čase, kde je klonovaný mel-spektrogram převeden do přirozeně znějícího zvuku.
Řízení platforem pro vyprávění audioknih a podcastů, které rychle a levně syntetizují hodiny řeči.
Slouží jako jeviště křivek uvnitř syntezátorů a hudebních ukázek prostřednictvím univerzálních vokodérů ve stylu BigVGAN.
GAN vokodéry se stále zmenšují a zrychlují: potomci jako BigVGAN přidávají anti-aliased aktivace pro zobecnění mezi neviditelnými zpěváky, nástroji a jazyky, zatímco UnivNet a Vocos tlačí na univerzální, celopásmovou syntézu. Streamování a varianty na zařízení nyní používají hlasové kódování uvnitř telefonů a sluchátek pro asistenty s nízkou latencí. Do generátorů s jedním průchodem ve stylu GAN se stále častěji destilují zvukové modely s difúzí a přizpůsobením toku, které spojují věrnost difúze s rychlostí GAN. Očekávejte, že vokodéry přejdou do univerzálních neuronových zvukových kodeků, které pohánějí řeč i hudbu.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
HiFi-GAN je generativní-adversariální vokodér, který téměř okamžitě přemění mel-spektrogram na surový zvukový průběh a produkuje řeč ve studiové kvalitě mnohem rychleji než v reálném čase. Stal se standardní závěrečnou fází moderního převodu textu na řeč, protože je rychlý, lehký a těžko rozeznatelný od skutečných nahrávek.
Vokodér je posledním stupněm, který syntetizuje skutečné vzorky tvaru vlny z mel-spektrogramu vytvořeného akustickým modelem.
WaveNet generoval audio vzorek po vzorku (autoregresivně), zatímco dopředný generátor HiFi-GAN vydává křivku v jednom záběru a dosahuje mnohem vyšší rychlosti než v reálném čase.
Multi-Period Discriminator přetváří 1D tvar vlny na 2D pomocí prvočíselných period k detekci periodické struktury vázané na výšku tónu.
V nastavení GAN se generátor naučí vytvářet křivky dostatečně realistické, aby oklamal sítě diskriminátorů, které jsou trénované tak, aby rozlišovaly skutečné od syntetického zvuku.
BigVGAN rozšiřuje HiFi-GAN a přidává vyhlazené periodické aktivace, čímž zlepšuje zobecnění zvuku mimo distribuci, jako je zpěv a nástroje.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Paralelní WaveGAN Vocoder
Zvuková AI