Il prossimoProssima guida
TTS con controllo dell'intonazione FastPitch
IA audio
GUIDA AI audio
Glow-TTS è un modello di sintesi vocale che impara ad allineare il testo alla voce da solo utilizzando un trucco di ricerca intelligente, eliminando la necessità di un allineatore separato.
Ascolta questa guidaNarrato dall'IA · ~2 min
Conta perché rende l'addestramento più semplice e la sintesi rapida e parallela.
Glow-TTS, introdotto da Kim e colleghi nel 2020, genera uno spettrogramma mel dal testo utilizzando un decodificatore basato sul flusso e un meccanismo di allineamento integrato chiamato Monotonic Alignment Search (MAS). I precedenti sistemi TTS come Tacotron 2 utilizzavano l'attenzione per decidere quale carattere di testo corrispondeva a quale fotogramma audio, ma l'attenzione può saltare le parole, ripeterle o interrompere frasi lunghe. Glow-TTS presuppone invece che l'allineamento debba essere monotono (il testo viene letto da sinistra a destra) e suriettivo (ogni token di testo si associa ad almeno un fotogramma). Utilizza la programmazione dinamica per trovare l'allineamento più probabile durante l'addestramento, quindi un piccolo predittore di durata impara a riprodurlo durante l'inferenza. Ciò produce una generazione vocale robusta, parallela e controllabile.
Formare una solida voce narrante di audiolibri che non salti o ripeta mai parole su paragrafi lunghi
Potenziamento della fase di allineamento degli assistenti vocali e degli screen reader open source basati su VITS
Creazione di sintesi vocale controllabili in cui allunghi o comprimi le durate dei fonemi per una pronuncia lenta e chiara nelle app per l'apprendimento delle lingue
Generazione di set di dati vocali sintetici per lingue con risorse limitate in cui i dati allineati manualmente sono scarsi
L’idea di allineamento monotonico introdotta da Glow-TTS è ora alla base di molti moderni sistemi non autoregressivi, incluso VITS, che lo fonde con un vocoder per la generazione di forme d’onda end-to-end. Prevediamo un uso continuato dell'allineamento rigido in stile MAS in lingue con risorse limitate, voci sul dispositivo in tempo reale e parlato controllabile in cui durata, tono e ritmo devono essere modificati esplicitamente. TTS a diffusione e corrispondenza del flusso prende sempre più in prestito questa mappatura pulita da testo a frame per la stabilità.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Glow-TTS è un modello di sintesi vocale che impara ad allineare il testo alla voce da solo utilizzando un trucco di ricerca intelligente, eliminando la necessità di un allineatore separato. È importante perché rende la formazione più semplice e la sintesi veloce e parallela.
L'attenzione può fallire su input lunghi, causando parole saltate o ripetute; Glow-TTS impone un allineamento monotono per evitare ciò.
MAS è la ricerca di allineamento monotonico, la routine di programmazione dinamica che trova il miglior allineamento testo-cornice.
Il parlato legge il testo in sequenza, quindi l'allineamento deve avanzare nel testo con l'avanzare del tempo.
Glow-TTS utilizza un decodificatore basato sul flusso, che fornisce un'esatta probabilità che MAS possa massimizzare gli allineamenti.
Il MAS è necessario solo durante la formazione; un predittore della durata appresa fornisce i conteggi dei frame per token durante l'inferenza, consentendo la generazione parallela.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
TTS con controllo dell'intonazione FastPitch
IA audio