DalšíDalší průvodce
Generativní vokodér MelGAN
Zvuková AI
Zvukový průvodce AI
Parallel WaveGAN je rychlý neurální vokodér, který pomocí malého GAN přemění mel-spektrogram na surový zvukový průběh a generuje všechny vzorky najednou.
Poslechněte si tento návodAI-vyprávěný · ~2 min
It matters because it gives near-real-time, high-quality speech with a compact model.
Vokodér je poslední fází potrubí TTS: převádí mapu akustických prvků (obvykle mel-spektrogram) na skutečnou zvukovou vlnu, kterou slyšíte. Paralelní WaveGAN, navržený Yamamotem, Songem a Kimem v roce 2019, to dělá s neautoregresivním generátorem ve stylu WaveNet vyškoleným jako generativní adversariální síť. Namísto predikce jednoho zvukového vzorku najednou jako původní WaveNet vytváří celý průběh paralelně, takže je výrazně rychlejší. Jeho klíčový recept kombinuje nepříznivou ztrátu se ztrátou krátkodobou Fourierovou transformací (STFT) ve více rozlišeních, takže model odpovídá skutečnému signálu v několika časových a frekvenčních měřítcích. Výsledkem je maličký generátor (kolem 1,4 milionu parametrů), který na GPU běží mnohonásobně rychleji než v reálném čase.
Hlasový výstup v reálném čase v mobilních hlasových asistentech, kde záleží na latenci a velikosti modelu
Slouží jako generátor tvaru vlny spárovaný s akustickými modely jako Tacotron 2 nebo FastSpeech
Převod textu na řeč na zařízení pro nástroje usnadnění, které se nemohou spoléhat na cloud
Systémy pro převod hlasu, které znovu syntetizují převedené spektrogramy do přirozeně znějícího zvuku
Parallel WaveGAN pomohl zavést GAN vokodéry jako praktické výchozí nastavení a jeho ztráta STFT ve více rozlišeních se nyní objevuje u nástupců, jako je HiFi-GAN a mnoho streamovacích systémů. Trajektorie směřuje ke stále menším vokodérům s nižší latencí pro asistenty na zařízení, naslouchátka a konverzi živého hlasu, plus univerzální vokodéry, které se zobecňují na neviditelné reproduktory. Očekávejte těsnější integraci s end-to-end TTS a efektivní nasazení na mobilních a vestavěných čipech.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Parallel WaveGAN je rychlý neurální vokodér, který pomocí malého GAN přemění mel-spektrogram na surový zvukový průběh a generuje všechny vzorky najednou. Je to důležité, protože s kompaktním modelem poskytuje vysoce kvalitní řeč téměř v reálném čase.
Vokodér je posledním stupněm TTS, který syntetizuje skutečnou zvukovou vlnu z akustických prvků, jako je mel-spektrogram.
Parallel WaveGAN je neautoregresivní a vytváří celý průběh najednou, nikoli vzorek po vzorku, což jej činí mnohem rychlejším.
Kombinuje nepříznivou ztrátu se ztrátou STFT ve více rozlišeních, která porovnává velikosti spektrogramů v několika měřítcích.
Generátor je síť podobná WaveNet postavená z dilatovaných konvolucí, podmíněná mel-spektrogramem a šumem.
Se zhruba 1,4 miliony parametrů je malý a běží mnohonásobně rychleji než v reálném čase, ideální pro použití na zařízení.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Generativní vokodér MelGAN
Zvuková AI