LegközelebbKövetkező útmutató
Voicebox Flow-Matching beszédgenerálás
Hangalapú AI
Audio AI ÚTMUTATÓ
A WaveGlow egy áramlásalapú neurális vokóder az NVIDIA-tól, amely egyetlen lépésben, autoregresszió nélkül szintetizálja a beszéd hullámformáit mel-spektrogramokból.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
It matters because it delivers high-quality audio faster than real time using only a simple likelihood loss.
A Prenger, Valle és Catanzaro által 2018-ban az NVIDIA-nál kiadott WaveGlow a Glow és a WaveNet ötleteit ötvözi egy gyors és könnyen betanítható vocoder létrehozásához. A GAN vokoderekkel ellentétben ez egy normalizáló folyam: megtanul egy invertálható leképezést egy egyszerű Gauss-eloszlás és a mel-spektrogramon kondicionált hang hullámforma között. A képzés maximalizálja az adatok pontos naplózási valószínűségét, így nincs szüksége külön megkülönböztetőre, nincs automatikus regresszió, és nincs szükség két hálózatos tanár-diák desztillációra, amelyre a korábbi párhuzamos WaveNet megközelítések megkívántak. Hang generálásához vegyen mintát a Gauss-zajból, és fordítva futtassa az invertálható hálózatot. A WaveGlow a WaveNethez hasonló minőségű beszédet állít elő, miközben egy modern GPU-n sokkal gyorsabban szintetizál, mint a valós időben.
Párosítás a Tacotron 2-vel az NVIDIA referencia TTS-csővezetékében a természetes stúdióminőségű beszéd előállítása érdekében
Gyors GPU beszédszintézis a narrációhoz, szinkronizáláshoz és tartalomkészítési munkafolyamatokhoz
Képzési és bemutató hang létrehozása a kutatásban, ahol a stabil, egyszeri veszteséggel járó képzést részesítik előnyben
Valós idejű hangkimenet interaktív rendszerekben, amelyek NVIDIA hardveren futnak
A WaveGlow bebizonyította, hogy a tiszta áramlású vokoderek vetekedhetnek az autoregresszív minőséggel, befolyásolva a későbbi áramlási és áramlási hangmodelleket. Az egyszeri veszteséggel járó egyszerűsége továbbra is vonzó, bár az olyan GAN vokoderek, mint a HiFi-GAN, ma már gyakran nyernek méretben és sebességben. A jövőre nézve az áramlás-alapú és az áramlás-illesztési ötletek újjáélednek a modern diffúziós szomszédos TTS-ben, és a WaveGlow-stílusú invertálható kialakítások továbbra is a pontos valószínűséggel, szabályozható és hatékony hullámforma-generációval kapcsolatos kutatásokat szolgálják.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A WaveGlow egy áramlásalapú neurális vokóder az NVIDIA-tól, amely egyetlen lépésben, autoregresszió nélkül szintetizálja a beszéd hullámformáit mel-spektrogramokból. Ez azért fontos, mert a valós idejűnél gyorsabban ad kiváló minőségű hangot, pusztán egyszerű valószínűségveszteséggel.
A WaveGlow egyesíti a Glow invertálható áramlási struktúráját a WaveNet audio-modellező dizájnjával.
A WaveGlow egy normalizáló folyam, amely megtanulja a Gauss-zaj és a hang invertálható leképezését.
Mivel a hálózat invertálható, Gauss-zajt rajzol, és az áramlást visszafelé futtatja, a mel-spektrogram alapján.
Folyásként a WaveGlow maximalizálja a pontos log-valószínűséget, és nincs szükség megkülönböztetésre vagy desztillációra.
Minden áramlási lépés egy affin kapcsolóréteget párosít a Glow-ból átvett invertálható 1x1 konvolúcióval.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Voicebox Flow-Matching beszédgenerálás
Hangalapú AI