LegközelebbKövetkező útmutató
Prozódia modellezés
Hangalapú AI
Audio AI ÚTMUTATÓ
A Tacotron 2 a Google (2017) end-to-end text-to-speech rendszere, amely az írott szöveget közvetlenül mel-spektrogrammá alakítja, amit egy neurális vocoder alakít át élethű beszéddé.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
It produced audio rivaling human recordings on key benchmarks.
A Tacotron 2 két fő részből áll. Először is, egy szekvenciáról szekvenciára figyelő hálózat felolvassa a szöveg karaktereit, és képkockánként előrejelzi a mel-spektrogramot. A kódoló a karaktereket rejtett reprezentációkká alakítja, a helyérzékeny figyelemmechanizmus a szöveget hangkockákhoz igazítja, és egy autoregresszív dekóder kiadja a spektrogramot, míg a „stop token” megtanulja, amikor a megnyilatkozás véget ér. Másodszor, egy módosított WaveNet vocoder ezt a mel-spektrogramot nyers hullámformává alakítja. A probléma ilyen módon történő felosztásával a Tacotron 2 minimális kézi tervezéssel megtanulja a prozódiát, a kiejtést és az ingerlést az adatokból. A professzionális felvételekhez közeli átlagos véleménypontszámot ért el, ami mérföldkővé tette a természetes hangzású szintézisben és a későbbi neurális TTS sablonjává.
Természetes hangzású hangok létrehozása a Google szövegfelolvasó termékeiben és asszisztenseiben
Kifejező narráció generálása hangoskönyvekhez és podcastokhoz
Hangok biztosítása képernyőolvasók és kisegítő szoftverek számára
Kutatási alapként és tanítási példaként szolgál a neurális TTS-csővezetékekhez
A Tacotron 2 kétlépcsős kialakítása a neurális TTS hullámát ihlette. A gyorsabb, nem autoregresszív utódok, mint például a FastSpeech 2, eltávolították a szekvenciális dekódert a sebesség és a stabilitás érdekében, és a WaveNet vokódert gyakran lecserélik HiFi-GAN vagy diffúziós modellekre. A terület a teljesen végpontok közötti és több hangszórós, kifejező és nulla-shot hangklónozó rendszerek felé halad, de a Tacotron 2 továbbra is alapvető referencia a spektrogram alapú csővezetékek számára.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A Tacotron 2 a Google (2017) end-to-end text-to-speech rendszere, amely az írott szöveget közvetlenül mel-spektrogrammá alakítja, amit egy neurális vocoder alakít át élethű beszéddé. Olyan hangot készített, amely a kulcsfontosságú referenciaértékeken vetekszik az emberi felvételekkel.
A Tacotron 2 szekvenciáktól szekvenciákig hálózata egy mel-spektrogramot jósol, amelyet a vokóder ezután hanggá alakít át.
A Tacotron 2 a spektrogram előrejelzőjét egy módosított WaveNet vokóderrel párosítja a végső nyers hang létrehozásához.
A korábbi igazítások figyelembevételével a helyérzékeny figyelem csökkenti a hibákat, például a szavak ismétlődését vagy elejtését.
Tacotron 2 predicts a stop token alongside mel frames; generation ends when the learned stopping condition is met.
A Tacotron 2 kódoló-dekódoló szekvencia-szekvencia modellt használ, figyelve a karakterek spektrogram keretekre való leképezésére.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Prozódia modellezés
Hangalapú AI