Il prossimoProssima guida
Modellazione della prosodia
IA audio
GUIDA AI audio
Tacotron 2 è un sistema di sintesi vocale end-to-end di Google (2017) che trasforma il testo scritto direttamente in uno spettrogramma mel, che un vocoder neurale converte in un parlato realistico.
Ascolta questa guidaNarrato dall'IA · ~2 min
Ha prodotto audio che rivaleggia con le registrazioni umane su parametri chiave.
Tacotron 2 ha due parti principali. Innanzitutto, una rete sequenza-sequenza con attenzione legge i caratteri del testo e predice uno spettrogramma mel fotogramma per fotogramma. Un codificatore trasforma i personaggi in rappresentazioni nascoste, un meccanismo di attenzione sensibile alla posizione allinea il testo ai fotogrammi audio e un decodificatore autoregressivo emette lo spettrogramma mentre un "token di arresto" apprende quando termina l'enunciazione. In secondo luogo, un vocoder WaveNet modificato converte lo spettrogramma mel in una forma d'onda grezza. Suddividendo il problema in questo modo, Tacotron 2 apprende la prosodia, la pronuncia e il ritmo dai dati con un intervento manuale minimo. Ha ottenuto un punteggio di opinione medio vicino alle registrazioni professionali, rendendolo un punto di riferimento nella sintesi dal suono naturale e un modello per la successiva TTS neurale.
Potenziare voci dal suono naturale nei prodotti e negli assistenti di sintesi vocale di Google
Generazione di narrazioni espressive per audiolibri e podcast
Fornitura di voci per lettori di schermo e software di accessibilità
Servire come base di ricerca ed esempio didattico per le pipeline TTS neurali
Il design a due stadi di Tacotron 2 ha ispirato un'ondata di TTS neurali. Successori non autoregressivi più veloci come FastSpeech 2 hanno rimosso il decoder sequenziale per maggiore velocità e stabilità, e il vocoder WaveNet viene ora spesso sostituito con HiFi-GAN o modelli di diffusione. Il campo si sta muovendo verso sistemi di clonazione vocale completamente end-to-end e multi-speaker, espressivi e zero-shot, ma Tacotron 2 rimane un riferimento fondamentale per le pipeline basate su spettrogrammi.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Tacotron 2 è un sistema di sintesi vocale end-to-end di Google (2017) che trasforma il testo scritto direttamente in uno spettrogramma mel, che un vocoder neurale converte in un parlato realistico. Ha prodotto audio che rivaleggia con le registrazioni umane su parametri chiave.
La rete sequenza-sequenza di Tacotron 2 prevede uno spettrogramma mel, che un vocoder trasforma poi in audio.
Tacotron 2 accoppia il suo predittore dello spettrogramma con un vocoder WaveNet modificato per generare l'audio grezzo finale.
Considerando gli allineamenti precedenti, l'attenzione sensibile alla posizione riduce gli errori come la ripetizione o la caduta delle parole.
Tacotron 2 predicts a stop token alongside mel frames; generation ends when the learned stopping condition is met.
Tacotron 2 utilizza un modello sequenza-sequenza codificatore-decodificatore con attenzione alla mappatura dei caratteri sui fotogrammi dello spettrogramma.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Modellazione della prosodia
IA audio