LegközelebbKövetkező útmutató
FastPitch hangmagasság-vezérelhető TTS
Hangalapú AI
Audio AI ÚTMUTATÓ
A Glow-TTS egy szövegfelolvasó modell, amely egy ügyes keresési trükk segítségével megtanulja önállóan igazítani a szöveget a beszédhez, így nincs szükség külön igazítóra.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
It matters because it makes training simpler and synthesis fast and parallel.
A Kim és munkatársai által 2020-ban bevezetett Glow-TTS mel-spektrogramot generál szövegből egy áramlásalapú dekóder és egy beépített igazítási mechanizmus, a Monotonic Alignment Search (MAS) segítségével. A korábbi TTS-rendszerek, például a Tacotron 2, a figyelmet használta annak eldöntésére, hogy melyik szövegkarakter melyik hangkockához illeszkedik, de a figyelem kihagyhatja a szavakat, megismételheti azokat, vagy megszakadhat a hosszú mondatokban. Ehelyett a Glow-TTS azt feltételezi, hogy az igazításnak monotonnak kell lennie (a szöveget balról jobbra kell olvasni) és szürjektívnek (minden szöveg token legalább egy keretre vonatkozik). Dinamikus programozást használ, hogy megtalálja a legvalószínűbb ilyen igazodást a képzés során, majd egy kis időtartamú előrejelző megtanulja reprodukálni azt a következtetés során. Ez robusztus, párhuzamos és szabályozható beszédgenerálást eredményez.
Robusztus hangoskönyv-narrátor hang képzése, amely soha nem ugrálja vagy ismételje meg a szavakat hosszú bekezdésekben
A VITS-alapú nyílt forráskódú hangasszisztensek és képernyőolvasók összehangolási szakaszának működtetése
Vezérelhető TTS létrehozása, ahol megnyújtja vagy tömöríti a fonéma időtartamát a lassú, tiszta kiejtés érdekében nyelvtanuló alkalmazásokban
Szintetikus beszédadatkészletek generálása alacsony erőforrás-igényű nyelvekhez, ahol kevés a kézzel igazított adat
A Glow-TTS által úttörő monoton igazítási ötlet mára számos modern, nem autoregresszív rendszert támogat, beleértve a VITS-t is, amely egy vokóderrel egyesíti a végpontok közötti hullámforma generáláshoz. Az alacsony erőforrásigényű nyelveken, a valós idejű, az eszközön lévő hangokon és a vezérelhető beszédben továbbra is MAS-stílusú kemény igazítást kell alkalmazni, ahol az időtartamot, a hangmagasságot és az ütemet kifejezetten szerkeszteni kell. A diffúziós és áramlási illesztésű TTS egyre gyakrabban kölcsönzi ezt a tiszta szöveg-kocka leképezést a stabilitás érdekében.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A Glow-TTS egy szövegfelolvasó modell, amely egy ügyes keresési trükk segítségével megtanulja önállóan igazítani a szöveget a beszédhez, így nincs szükség külön igazítóra. Ez azért fontos, mert egyszerűbbé teszi az edzést, a szintézist pedig gyors és párhuzamos.
A figyelem gyújtáskihagyást okozhat hosszú bevitel esetén, ami kihagyott vagy ismétlődő szavakat okozhat; A Glow-TTS monoton igazítást kényszerít ki ennek elkerülésére.
A MAS a Monotonic Alignment Search, a dinamikus programozási rutin, amely megtalálja a legjobb szöveg-kocka igazítást.
A beszéd szekvenciálisan olvassa be a szöveget, így az igazításnak az idő előrehaladtával előre kell haladnia a szövegben.
A Glow-TTS áramlásalapú dekódert használ, ami pontos valószínűséget ad annak, hogy a MAS maximalizálja az igazításokat.
A MAS csak a képzésben szükséges; egy tanult időtartam-előrejelző tokenenkénti keretszámot szolgáltat a következtetéskor, lehetővé téve a párhuzamos generálást.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
FastPitch hangmagasság-vezérelhető TTS
Hangalapú AI