LegközelebbKövetkező útmutató
Párhuzamos WaveGAN Vocoder
Hangalapú AI
Audio AI ÚTMUTATÓ
A HiFi-GAN egy generatív-ellenálló vokóder, amely a mel-spektrogramot szinte azonnal nyers hanghullámformává alakítja, és sokkal gyorsabban állít elő stúdióminőségű beszédet, mint a valós időben.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
It became the standard final stage of modern text-to-speech because it is fast, lightweight, and hard to distinguish from real recordings.
A vokóder az utolsó lépés a legtöbb TTS-folyamatban: egy olyan modell, mint a Tacotron vagy a FastSpeech, megjósol egy mel-spektrogramot (a frekvencia időbeli kompakt képe), és a vokóder kitölti a tényleges hullámforma mintákat. A korai neurális vokóderek, mint például a WaveNet, remekül szóltak, de hangmintáról mintára generáltak, ami fájdalmasan lassúvá tette őket. A Kong, Kim és Bae által 2020-ban kiadott HiFi-GAN ezt az autoregresszív hurkot egyetlen ellentétes módon kiképzett előrecsatoló generátorra cserélte. Legfontosabb trükkje az, hogy több diszkriminátort használnak, amelyek különböző skálákon és különböző periodikus mintákon ítélik meg a hangot, és arra kényszerítik a generátort, hogy mind a finom textúrát, mind a hangmagasság periodicitását megfelelővé tegye. Az eredmény: a 22 kHz-es beszéd szintetizálása több százszor gyorsabb, mint a valós időben egy GPU-n, és a hangminőség vetekszik a valódi hanggal.
Virtuális asszisztensek és navigációs alkalmazások hangkimenetének generálása, amelyeknek hallható késleltetés nélkül kell válaszolniuk.
Valós idejű hangklónozási és szinkronizálási eszközök, amelyekben a klónozott mel-spektrogramot természetes hangzású hanggá alakítják.
Hangoskönyvek és podcastok narrációs platformjai, amelyek gyorsan és olcsón szintetizálják a beszédet.
Hullámforma-színpadként szolgál énekhang-szintetizátorokban és zenei demókban a BigVGAN-stílusú univerzális vokódereken keresztül.
A GAN vokóderek egyre kisebbek és gyorsabbak: az olyan leszármazottak, mint a BigVGAN, élsimított aktiválásokat adnak hozzá, hogy általánosíthassák a nem látott énekeseket, hangszereket és nyelveket, míg az UnivNet és a Vocos az univerzális, minden sávra kiterjedő szintézis felé törekszik. A streaming és az eszközön lévő változatok mostantól a telefonokban és a fülhallgatókon belül is futtatják a vokódolást az alacsony késleltetésű asszisztensek számára. Egyre gyakrabban a diffúziós és az áramláshoz illő hangmodelleket desztillálják GAN-stílusú egymenetes generátorokká, ötvözve a diffúzió hűségét a GAN sebességgel. Várható, hogy a vokóderek általános célú neurális audiokodekekké váljanak, amelyek a beszédet és a zenét egyaránt táplálják.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A HiFi-GAN egy generatív-ellenálló vokóder, amely a mel-spektrogramot szinte azonnal nyers hanghullámformává alakítja, és sokkal gyorsabban állít elő stúdióminőségű beszédet, mint a valós időben. A modern szövegfelolvasó szabvány végső szakasza lett, mivel gyors, könnyű és nehezen megkülönböztethető a valódi felvételektől.
A vokóder az utolsó szakasz, amely tényleges hullámforma mintákat szintetizál az akusztikus modell által előállított mel-spektrogramból.
A WaveNet mintavételenként (autoregresszíven) generálta a hangot, míg a HiFi-GAN előrecsatolt generátora egy lövésben adja ki a hullámformát, így sokkal gyorsabb, mint a valós idejű sebesség.
A többperiódusos diszkriminátor prímszámozott periódusokat használva 2D-vé alakítja át az 1D hullámformát, hogy észlelje a hangmagassághoz kötött periodikus struktúrát.
A GAN-beállítások során a generátor megtanul elég valósághű hullámformákat létrehozni ahhoz, hogy megtévessze azokat a diszkriminátor hálózatokat, amelyek képesek megkülönböztetni a valódit a szintetikus hangtól.
A BigVGAN felnagyítja a HiFi-GAN-t, és anti-alias rendszeres aktiválásokat ad hozzá, javítva a terjesztésen kívüli hangok általánosítását, mint például az éneklés és a hangszerek.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Párhuzamos WaveGAN Vocoder
Hangalapú AI