Audio AI ÚTMUTATÓ

Tacotron 2

A Tacotron 2 a Google (2017) end-to-end text-to-speech rendszere, amely az írott szöveget közvetlenül mel-spektrogrammá alakítja, amit egy neurális vocoder alakít át élethű beszéddé.

Hallgassa meg ezt az útmutatótAI-narrált · ~2 min

Ezen az oldalon2 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A Tacotron jövője 2
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

It produced audio rivaling human recordings on key benchmarks.

Mély merülés

A Tacotron 2 két fő részből áll. Először is, egy szekvenciáról szekvenciára figyelő hálózat felolvassa a szöveg karaktereit, és képkockánként előrejelzi a mel-spektrogramot. A kódoló a karaktereket rejtett reprezentációkká alakítja, a helyérzékeny figyelemmechanizmus a szöveget hangkockákhoz igazítja, és egy autoregresszív dekóder kiadja a spektrogramot, míg a „stop token” megtanulja, amikor a megnyilatkozás véget ér. Másodszor, egy módosított WaveNet vocoder ezt a mel-spektrogramot nyers hullámformává alakítja. A probléma ilyen módon történő felosztásával a Tacotron 2 minimális kézi tervezéssel megtanulja a prozódiát, a kiejtést és az ingerlést az adatokból. A professzionális felvételekhez közeli átlagos véleménypontszámot ért el, ami mérföldkővé tette a természetes hangzású szintézisben és a későbbi neurális TTS sablonjává.

Valós megvalósítás

Természetes hangzású hangok létrehozása a Google szövegfelolvasó termékeiben és asszisztenseiben

Kifejező narráció generálása hangoskönyvekhez és podcastokhoz

Hangok biztosítása képernyőolvasók és kisegítő szoftverek számára

Kutatási alapként és tanítási példaként szolgál a neurális TTS-csővezetékekhez

A Tacotron jövője 2

A Tacotron 2 kétlépcsős kialakítása a neurális TTS hullámát ihlette. A gyorsabb, nem autoregresszív utódok, mint például a FastSpeech 2, eltávolították a szekvenciális dekódert a sebesség és a stabilitás érdekében, és a WaveNet vokódert gyakran lecserélik HiFi-GAN vagy diffúziós modellekre. A terület a teljesen végpontok közötti és több hangszórós, kifejező és nulla-shot hangklónozó rendszerek felé halad, de a Tacotron 2 továbbra is alapvető referencia a spektrogram alapú csővezetékek számára.

A gyakorlatba ültetés

Miért számít

  • Hozzáférés és elérés. Javítja a hozzáférhetőséget az átírás, a narráció és a hangfelületek révén.
  • Költség és költségvetés. A médiacsapatok kisebb költségvetéssel gyorsabban szállíthatják a csiszolt hanganyagot.
  • Sebesség és méretarány. Az ügyfélközpontú rendszerek nagyobb léptékben képesek feldolgozni a beszélt interakciókat.

Vigyázz

  • A beleegyezés hiányában nő a hanggal való visszaélés és a megszemélyesítés kockázata.
  • A pontosság csökkenhet az akcentusok, dialektusok vagy zajos környezetben.
  • A szintetikus hang összetéveszthető a hiteles beszéddel egyértelmű címkézés nélkül.

Következő lépések

  1. Kérjen kifejezett hozzájárulást a hangrögzítéshez, klónozáshoz és újrafelhasználáshoz.
  2. Tesztelje a minőséget különféle hangszórókon és háttérviszonyok között.
  3. Határozza meg, mikor kell egy embernek felülvizsgálnia vagy jóváhagynia a kimeneteket.
  4. Címkézze fel a szintetikus hanganyagot, és vezessen származási nyilvántartást az elszámoltathatóság érdekében.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Tacotron 2 quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

What is Tacotron 2?

A Tacotron 2 a Google (2017) end-to-end text-to-speech rendszere, amely az írott szöveget közvetlenül mel-spektrogrammá alakítja, amit egy neurális vocoder alakít át élethű beszéddé. Olyan hangot készített, amely a kulcsfontosságú referenciaértékeken vetekszik az emberi felvételekkel.

Milyen köztes reprezentációt jósol a Tacotron 2 a szövegből?

A Tacotron 2 szekvenciáktól szekvenciákig hálózata egy mel-spektrogramot jósol, amelyet a vokóder ezután hanggá alakít át.

Mi alakítja át a Tacotron 2 spektrogramját tényleges hullámformává?

A Tacotron 2 a spektrogram előrejelzőjét egy módosított WaveNet vokóderrel párosítja a végső nyers hang létrehozásához.

Milyen problémákat segít megelőzni a helyérzékeny figyelem?

A korábbi igazítások figyelembevételével a helyérzékeny figyelem csökkenti a hibákat, például a szavak ismétlődését vagy elejtését.

How does Tacotron 2 determine that it has generated the end of an utterance?

Tacotron 2 predicts a stop token alongside mel frames; generation ends when the learned stopping condition is met.

Milyen általános architektúra stílust használ a szöveg-spektrogram rész?

A Tacotron 2 kódoló-dekódoló szekvencia-szekvencia modellt használ, figyelve a karakterek spektrogram keretekre való leképezésére.