Audio AI ÚTMUTATÓ

HiFi-GAN és GAN Vokóderek

A HiFi-GAN egy generatív-ellenálló vokóder, amely a mel-spektrogramot szinte azonnal nyers hanghullámformává alakítja, és sokkal gyorsabban állít elő stúdióminőségű beszédet, mint a valós időben.

Hallgassa meg ezt az útmutatótAI-narrált · ~2 min

Ezen az oldalon2 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A HiFi-GAN és a GAN Vocoderek jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

It became the standard final stage of modern text-to-speech because it is fast, lightweight, and hard to distinguish from real recordings.

Mély merülés

A vokóder az utolsó lépés a legtöbb TTS-folyamatban: egy olyan modell, mint a Tacotron vagy a FastSpeech, megjósol egy mel-spektrogramot (a frekvencia időbeli kompakt képe), és a vokóder kitölti a tényleges hullámforma mintákat. A korai neurális vokóderek, mint például a WaveNet, remekül szóltak, de hangmintáról mintára generáltak, ami fájdalmasan lassúvá tette őket. A Kong, Kim és Bae által 2020-ban kiadott HiFi-GAN ezt az autoregresszív hurkot egyetlen ellentétes módon kiképzett előrecsatoló generátorra cserélte. Legfontosabb trükkje az, hogy több diszkriminátort használnak, amelyek különböző skálákon és különböző periodikus mintákon ítélik meg a hangot, és arra kényszerítik a generátort, hogy mind a finom textúrát, mind a hangmagasság periodicitását megfelelővé tegye. Az eredmény: a 22 kHz-es beszéd szintetizálása több százszor gyorsabb, mint a valós időben egy GPU-n, és a hangminőség vetekszik a valódi hanggal.

Valós megvalósítás

Virtuális asszisztensek és navigációs alkalmazások hangkimenetének generálása, amelyeknek hallható késleltetés nélkül kell válaszolniuk.

Valós idejű hangklónozási és szinkronizálási eszközök, amelyekben a klónozott mel-spektrogramot természetes hangzású hanggá alakítják.

Hangoskönyvek és podcastok narrációs platformjai, amelyek gyorsan és olcsón szintetizálják a beszédet.

Hullámforma-színpadként szolgál énekhang-szintetizátorokban és zenei demókban a BigVGAN-stílusú univerzális vokódereken keresztül.

A HiFi-GAN és a GAN Vocoderek jövője

A GAN vokóderek egyre kisebbek és gyorsabbak: az olyan leszármazottak, mint a BigVGAN, élsimított aktiválásokat adnak hozzá, hogy általánosíthassák a nem látott énekeseket, hangszereket és nyelveket, míg az UnivNet és a Vocos az univerzális, minden sávra kiterjedő szintézis felé törekszik. A streaming és az eszközön lévő változatok mostantól a telefonokban és a fülhallgatókon belül is futtatják a vokódolást az alacsony késleltetésű asszisztensek számára. Egyre gyakrabban a diffúziós és az áramláshoz illő hangmodelleket desztillálják GAN-stílusú egymenetes generátorokká, ötvözve a diffúzió hűségét a GAN sebességgel. Várható, hogy a vokóderek általános célú neurális audiokodekekké váljanak, amelyek a beszédet és a zenét egyaránt táplálják.

A gyakorlatba ültetés

Miért számít

  • Hozzáférés és elérés. Javítja a hozzáférhetőséget az átírás, a narráció és a hangfelületek révén.
  • Költség és költségvetés. A médiacsapatok kisebb költségvetéssel gyorsabban szállíthatják a csiszolt hanganyagot.
  • Sebesség és méretarány. Az ügyfélközpontú rendszerek nagyobb léptékben képesek feldolgozni a beszélt interakciókat.

Vigyázz

  • A beleegyezés hiányában nő a hanggal való visszaélés és a megszemélyesítés kockázata.
  • A pontosság csökkenhet az akcentusok, dialektusok vagy zajos környezetben.
  • A szintetikus hang összetéveszthető a hiteles beszéddel egyértelmű címkézés nélkül.

Következő lépések

  1. Kérjen kifejezett hozzájárulást a hangrögzítéshez, klónozáshoz és újrafelhasználáshoz.
  2. Tesztelje a minőséget különféle hangszórókon és háttérviszonyok között.
  3. Határozza meg, mikor kell egy embernek felülvizsgálnia vagy jóváhagynia a kimeneteket.
  4. Címkézze fel a szintetikus hanganyagot, és vezessen származási nyilvántartást az elszámoltathatóság érdekében.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the HiFi-GAN and GAN Vocoders quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a HiFi-GAN és GAN Vocoder?

A HiFi-GAN egy generatív-ellenálló vokóder, amely a mel-spektrogramot szinte azonnal nyers hanghullámformává alakítja, és sokkal gyorsabban állít elő stúdióminőségű beszédet, mint a valós időben. A modern szövegfelolvasó szabvány végső szakasza lett, mivel gyors, könnyű és nehezen megkülönböztethető a valódi felvételektől.

Mi az elsődleges feladata egy olyan vokódernek, mint a HiFi-GAN a szövegfelolvasó folyamatban?

A vokóder az utolsó szakasz, amely tényleges hullámforma mintákat szintetizál az akusztikus modell által előállított mel-spektrogramból.

Miért sokkal gyorsabb a HiFi-GAN, mint a korábbi WaveNet vocoder?

A WaveNet mintavételenként (autoregresszíven) generálta a hangot, míg a HiFi-GAN előrecsatolt generátora egy lövésben adja ki a hullámformát, így sokkal gyorsabb, mint a valós idejű sebesség.

Miben segít konkrétan a HiFi-GAN Multi-Period Diskriminátora?

A többperiódusos diszkriminátor prímszámozott periódusokat használva 2D-vé alakítja át az 1D hullámformát, hogy észlelje a hangmagassághoz kötött periodikus struktúrát.

A GAN vokódereket „ellenkező módon” képezik ki. Ez itt mit jelent?

A GAN-beállítások során a generátor megtanul elég valósághű hullámformákat létrehozni ahhoz, hogy megtévessze azokat a diszkriminátor hálózatokat, amelyek képesek megkülönböztetni a valódit a szintetikus hangtól.

Melyik későbbi vokóder kiterjeszti a HiFi-GAN-t, hogy jobban általánosítson a nem látott hangokra, énekre és hangszerekre?

A BigVGAN felnagyítja a HiFi-GAN-t, és anti-alias rendszeres aktiválásokat ad hozzá, javítva a terjesztésen kívüli hangok általánosítását, mint például az éneklés és a hangszerek.