Il prossimoProssima guida
Sintesi del discorso emotivo
IA audio
GUIDA AI audio
VITS è un modello di sintesi vocale, pubblicato allo ICML 2021, che trasforma il testo direttamente in una forma d'onda audio in una rete invece della solita pipeline a due stadi di predittore di spettrogramma più vocoder.
Ascolta questa guidaNarrato dall'IA · ~7 min
Ha ottenuto un punteggio di 4,43 su 5 nei test di ascolto contro 4,46 per le registrazioni reali, funziona circa 67 volte più velocemente del tempo reale su una GPU e supporta i modelli vocali di Meta per 1.107 lingue.
VITS stands for Variational Inference with adversarial learning for end-to-end Text-to-Speech. It was introduced by Jaehyeon Kim, Jungil Kong and Juhee Son in the paper "Conditional Variational Autoencoder with Adversarial Learning for End-to-End Text-to-Speech", posted in June 2021 and presented at ICML 2021. Its main idea is to generate the final audio samples directly from text in a single model trained in one stage. Earlier neural text-to-speech systems were split in two: an acoustic model such as Tacotron 2 or Glow-TTS predicted a mel spectrogram, a compact picture of sound energy over time and frequency, and a separate vocoder such as HiFi-GAN converted that picture into a waveform. Two-stage systems sounded good but had to be trained and tuned separately, and errors in the first stage passed into the second.
VITS is built around a conditional variational autoencoder (VAE). An autoencoder learns to compress data into a hidden code, called a latent variable, and rebuild it; a variational one learns a probability distribution over codes, so new samples can be drawn. During training, a posterior encoder reads the linear spectrogram of a real recording and produces a latent sequence z describing that audio. A decoder, built like the HiFi-GAN generator, turns z back into a waveform. Separately, a text encoder reads the phonemes, the basic speech sounds of the sentence, and predicts a distribution for each one. A normalizing flow, a chain of invertible transformations, bends the audio latent into the shape the text encoder predicts, so text and sound meet in a shared space. Training pushes the two sides to agree while the decoder learns to reproduce the recording.
Two problems remain: which audio frames belong to which phoneme, and how long each phoneme should last. For alignment, VITS reuses monotonic alignment search (MAS), introduced in Glow-TTS at NeurIPS 2020. MAS uses dynamic programming to find the most likely left-to-right assignment of audio frames to phonemes, with no external aligner. For duration, VITS adds a stochastic duration predictor, a small flow-based model that learns a distribution of possible lengths rather than one fixed value. The same sentence can therefore be spoken with different rhythms on different runs. Finally, adversarial training adds a discriminator network that tries to tell real audio from generated audio, and the generator improves by fooling it, which sharpens fine detail.
At synthesis time the path is short. Text becomes phonemes, the text encoder predicts a distribution per phoneme, the duration predictor samples how many frames each phoneme gets, a latent sequence is sampled, the flow is run in reverse, and the decoder outputs audio. The VITS paper reports a speed of about 1,480 kHz on one NVIDIA V100 GPU, meaning roughly 1.48 million audio samples per second, or 67 times faster than real time, compared with about 27 times for Glow-TTS plus HiFi-GAN measured the same way.
The quality results explain its influence. On LJ Speech, a public dataset of 13,100 clips from a single reader totaling about 24 hours, listeners rated VITS 4.43 on a 5-point mean opinion score (MOS) scale, against 4.46 for the real recordings, 4.32 for Glow-TTS with a fine-tuned HiFi-GAN and 4.25 for Tacotron 2 with a fine-tuned HiFi-GAN. An ablation, a test with one component removed, showed how much the flow mattered: without it, MOS fell from 4.50 to 2.98. The paper also trained a multi-speaker version on VCTK, a dataset of 109 English speakers. Follow-ups built directly on the code: YourTTS added zero-shot voice cloning across languages, and Meta's Massively Multilingual Speech project, posted in May 2023, released text-to-speech for 1,107 languages using the VITS architecture.
Compared with alternatives, VITS sits between older two-stage systems and newer large generative models. Against two-stage pipelines it offers simpler training and faster synthesis with equal or better quality on standard tests. Against autoregressive models such as Tacotron 2, which produce output one step at a time, it generates all frames in parallel and is less prone to skipping or repeating words, because MAS forces a strictly left-to-right alignment. Large language-model-style speech generators trained on far more data can imitate voices and emotions more flexibly, but they are heavier to run. VITS remains attractive where a small, fast, single-voice or few-voice model is enough.
VITS has known limits. VITS2's authors list intermittent unnaturalness, computational inefficiency and strong dependence on phoneme conversion, meaning text must first be turned into phonemes by a separate tool, which breaks on unusual names and languages without good pronunciation rules. Output is random by design; the Transformers documentation tells users to set a seed for reproducible audio. Expressiveness is bounded by training data: a model trained on one calm reader will sound like one calm reader. Meta's MMS data came from readings of religious texts, which shapes vocabulary and speaking style. As with any voice synthesis, models fine-tuned on a real person's voice raise consent and impersonation concerns.
What VITS requires in practice is modest by current standards. The original model was trained with mixed precision on 4 NVIDIA V100 GPUs, a batch of 64 per GPU, for up to 800,000 steps, using about 24 hours of clean single-speaker audio. Fine-tuning a pretrained checkpoint to a new voice needs far less; YourTTS reported useful results from under a minute of speech. Running a trained model needs only a single GPU or a capable CPU, and the Hugging Face implementation produces 16 kHz audio by default for MMS checkpoints with a few lines of code.
04Esempio lavorato
Installa la libreria Transformers e carica VitsTokenizer e VitsModel dal checkpoint facebook/mms-tts-eng.
Tokenizza una frase come "Svoltare a sinistra al secondo semaforo". e chiamare set_seed(555) prima di eseguire il modello sotto torch.no_grad().
Salva outputs.waveform alla frequenza di campionamento del modello (16 kHz per MMS) come file WAV e ascoltalo.
Eseguilo di nuovo con lo stesso seme e conferma che l'audio è identico, quindi cambia il seme e nota le piccole differenze nel ritmo.
Imposta model. Speaking_rate su 0,8 e rigenera per ascoltare un discorso più lento, quindi aumenta model.noise_scale_duration per ascoltare tempi più vari.
Confronta il numero di campioni di output nelle esecuzioni per vedere come la durata del campionamento modifica la lunghezza totale.
Cosa mostra
Diversi file WAV della stessa frase con differenze controllate di velocità e ritmo. Controlla confrontando le durate: una velocità di pronuncia di 0,8 dovrebbe produrre una clip più lunga di circa il 25% e seed identici dovrebbero produrre audio identico in byte.
Il progetto Massively Multilingual Speech di Meta ha rilasciato modelli di sintesi vocale per 1.107 lingue nel 2023; Hugging Face Transformers li carica come modelli VITS, ad esempio facebook/mms-tts-eng.
YourTTS (ICML 2022) estende VITS per il parlato multi-parlante e multilingue zero-shot e i suoi autori segnalano una forte somiglianza vocale dopo aver messo a punto meno di un minuto dell'audio di un nuovo oratore.
Gli sviluppatori regolano la consegna al momento dell'inferenza attraverso le impostazioni Speaking_rate, noise_scale e noise_scale_duration esposte da Transformers VitsModel, ad esempio rallentando la narrazione per gli studenti di lingue.
VITS è una base di ricerca standard sul set di dati LJ Speech di circa 24 ore di un lettore, dove l'articolo originale riportava un punteggio medio di opinione di 4,43.
VITS2 (Interspeech 2023) di Jungil Kong e colleghi migliora i passaggi innaturali occasionali di VITS, accelera l'addestramento e l'inferenza e riduce la dipendenza dalla conversione dei fonemi.
Il lavoro dopo VITS ha seguito tre linee. Il primo è il perfezionamento dello stesso design: VITS2, pubblicato a Interspeech 2023, ha preso di mira i passaggi innaturali occasionali dell'originale, la sua efficienza e la sua dipendenza dalla conversione dei fonemi, spostandosi verso un sistema a stadio singolo completamente end-to-end. Il secondo è la scalabilità tra parlanti e lingue: YourTTS nel 2022 ha mostrato una sintesi multi-parlante e interlinguistica zero-shot su una base VITS, e la versione Massively Multilingual Speech di Meta del 2023 ha esteso la sintesi in stile VITS a 1.107 lingue, molte con poca tecnologia vocale precedente. Il terzo è la concorrenza di modelli vocali generativi molto più ampi che trattano l'audio come sequenze di token, che barattano la compattezza di VITS con la flessibilità della voce, delle emozioni e dello stile. I problemi aperti per la famiglia VITS includono una solida gestione del testo senza dizionari fonematici affidabili, emozioni ed enfasi controllabili, valutazione oltre piccoli test di ascolto sul parlato letto nell'audiolibro e misure di salvaguardia contro la clonazione di voci senza consenso. Se i modelli compatti flow-and-GAN come VITS manterranno il loro ruolo sui telefoni e sui dispositivi integrati man mano che i modelli più grandi diventeranno più efficienti è una questione aperta.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
VITS è un modello di sintesi vocale, pubblicato allo ICML 2021, che trasforma il testo direttamente in una forma d'onda audio in una rete invece della consueta pipeline a due stadi di predittore di spettrogramma più vocoder. Ha ottenuto un punteggio di 4,43 su 5 nei test di ascolto contro 4,46 per le registrazioni reali, funziona circa 67 volte più velocemente del tempo reale su una GPU e supporta i modelli vocali di Meta per 1.107 lingue.
VITS sta per Variational Inference with adversarial learning per end-to-end Text-to-Speech, riflettendo i suoi tre ingredienti principali.
VITS è end-to-end: apprende il testo dalla forma d'onda in un modello, evitando la mancata corrispondenza tra un modello acustico e un vocoder separati.
VITS utilizza la ricerca di allineamento monotonico per scoprire il miglior allineamento testo-cornice internamente, senza la necessità di un allineatore esterno.
Il predittore stocastico della durata consente di pronunciare la stessa frase con ritmi naturali diversi, evitando una cadenza piatta e robotica.
VITS utilizza l'addestramento contraddittorio (GAN), in cui un discriminatore giudica se le forme d'onda suonano reali, migliorando la qualità percettiva.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Sintesi del discorso emotivo
IA audio