LegközelebbKövetkező útmutató
PANN-ok: Előre betanított audio neurális hálózatok
Hangalapú AI
Audio AI ÚTMUTATÓ
A neurális vokóder akusztikus jellemzőkből generál hullámformát.
Hallgassa meg ezt az útmutatótAI-narrált · ~1 min
A WaveNet és a HiFi-GAN tanulmányok két specifikus neurális beszédgeneráló architektúrát írnak le; eredményeik a jelentett feladatokra, adatokra és rendszerekre vonatkoznak.
A WaveNet autoregresszíven modellezi a nyers hangot, és az eredeti dokumentum minta-minta generálást ír le. A HiFi-GAN egy GAN-alapú beszédszintézis modell. Generátora több befogadómezős fúziós blokkokat használ, míg diszkriminátorai periódusokon és időskálákon keresztül működnek. Ezek építészeti részletek és benchmark eredmények a hivatkozott cikkekből; nem hoznak létre univerzális többnyelvű, éneklési, akadálymentesítési vagy hanghelyreállító teljesítményt.
A WaveNet olvasása nyers hangminták autoregresszív modelljeként.
A HiFi-GAN multi-receptive-field fúziós generátor blokkjainak vizsgálata.
A HiFi-GAN több periódusos és többléptékű diszkriminátorainak összehasonlítása.
Az akusztikus modell kimenet és a hullámforma szintézis külön szakaszként kezelése a kiértékelt HiFi-GAN/TTS beállításban.
Értékelje a vocodert a cél akusztikai jellemzőire, hangszóróira és felvételi tartományára egyező alapvonalak segítségével. Az idézett dokumentumok nem állítják, hogy egy architektúra a legjobb minden nyelvhez, éneklési feladathoz, eszközhöz vagy telepítéshez.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A neurális vokóder akusztikus jellemzőkből generál hullámformát. A WaveNet és a HiFi-GAN tanulmányok két specifikus neurális beszédgeneráló architektúrát írnak le; eredményeik a jelentett feladatokra, adatokra és rendszerekre vonatkoznak.
A neurális vokóder egy kompakt akusztikus jellemzőt, általában egy mel-spektrogramot vesz fel, és szintetizálja a ténylegesen hallható nyers hanghullámot.
A 2016-os DeepMind WaveNet hangmintáról mintára generált hangot, és feltűnően természetes beszédet produkált, elindítva a neurális vocoder korszakot.
A WaveNet autoregresszív: minden hangminta az előzőektől függ, így másodpercenként több tízezer minta generálása számításilag költséges volt.
A Mel-spektrogramok megtartják a magnitúdót (frekvenciasávonkénti energia), de fázist ejtenek, így a vokódernek egy koherens hullámformát kell rekonstruálnia, amelynek fázisa elfogadható.
A HiFi-GAN számos diszkriminátort használ, amelyek különböző időskálákat és periodicitásokat vizsgálnak, és arra késztetik a generátort, hogy valósághű harmonikusokat és tranzienseket állítson elő.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
PANN-ok: Előre betanított audio neurális hálózatok
Hangalapú AI