DalšíDalší průvodce
FastPitch TTS s ovladatelným roztečí
Zvuková AI
Zvukový průvodce AI
Glow-TTS je model převodu textu na řeč, který se pomocí chytrého vyhledávacího triku učí zarovnávat text na řeč sám, čímž odstraňuje potřebu samostatného zarovnávače.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Je to důležité, protože to zjednodušuje trénink a syntéza je rychlá a paralelní.
Glow-TTS, představený Kimem a kolegy v roce 2020, generuje mel-spektrogram z textu pomocí průtokového dekodéru a vestavěného zarovnávacího mechanismu zvaného Monotonic Alignment Search (MAS). Dřívější systémy TTS jako Tacotron 2 využívaly pozornost k rozhodování, který textový znak odpovídá kterému zvukovému rámci, ale pozornost může přeskakovat slova, opakovat je nebo přerušovat dlouhé věty. Glow-TTS místo toho předpokládá, že zarovnání musí být monotónní (text se čte zleva doprava) a surjektivní (každý token textu mapuje alespoň jeden snímek). Používá dynamické programování k nalezení nejpravděpodobnějšího takového zarovnání během tréninku, pak se malý prediktor trvání naučí reprodukovat to na základě odvození. To poskytuje robustní, paralelní a ovladatelné generování řeči.
Vycvičte si robustní hlas vypravěče audioknih, který nikdy nepřeskakuje ani neopakuje slova v dlouhých odstavcích
Pohání fázi zarovnání open source hlasových asistentů a čteček obrazovky založených na VITS
Vytváření ovladatelného TTS, kde natahujete nebo komprimujete trvání fonémů pro pomalou a jasnou výslovnost v aplikacích pro výuku jazyků
Generování datových sad syntetické řeči pro jazyky s nízkými zdroji, kde jsou ručně zarovnaná data vzácná
Myšlenka monotónního zarovnání, kterou propagovala Glow-TTS, nyní podporuje mnoho moderních neautoregresivních systémů, včetně VITS, který jej spojuje s vokodérem pro generování křivek end-to-end. Očekávejte pokračující používání tvrdého zarovnání ve stylu MAS v jazycích s nízkými zdroji, hlasy v reálném čase na zařízení a ovladatelnou řeč, kde je třeba explicitně upravit trvání, výšku a tempo. Difúzní a tok-matching TTS si stále více vypůjčují toto čisté mapování textu na rámec pro stabilitu.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Glow-TTS je model převodu textu na řeč, který se pomocí chytrého vyhledávacího triku učí zarovnávat text na řeč sám, čímž odstraňuje potřebu samostatného zarovnávače. Je to důležité, protože to dělá trénink jednodušší a syntézu rychlou a paralelní.
Při dlouhých vstupech může selhat pozornost, což může způsobit přeskakování nebo opakovaná slova; Glow-TTS vynucuje monotónní zarovnání, aby se tomu zabránilo.
MAS je Monotonic Alignment Search, rutina dynamického programování, která najde nejlepší zarovnání textu ke snímku.
Řeč čte text postupně, takže zarovnání se musí posouvat vpřed v textu s postupem času.
Glow-TTS používá dekodér založený na průtoku, který dává přesnou pravděpodobnost, že MAS dokáže maximalizovat zarovnání.
MAS je potřeba pouze při výcviku; naučený prediktor trvání poskytuje počet snímků na token při odvození, což umožňuje paralelní generování.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
FastPitch TTS s ovladatelným roztečí
Zvuková AI