Il prossimoProssima guida
Generazione vocale con abbinamento del flusso di Voicebox
IA audio
GUIDA AI audio
WaveGlow è un vocoder neurale basato sul flusso di NVIDIA che sintetizza le forme d'onda del parlato dagli spettrogrammi mel in un unico passaggio senza autoregressione.
Ascolta questa guidaNarrato dall'IA · ~2 min
It matters because it delivers high-quality audio faster than real time using only a simple likelihood loss.
WaveGlow, rilasciato da Prenger, Valle e Catanzaro presso NVIDIA nel 2018, combina le idee di Glow e WaveNet per creare un vocoder che sia veloce e facile da addestrare. A differenza dei vocoder GAN, è un flusso normalizzante: apprende una mappatura invertibile tra una semplice distribuzione gaussiana e la forma d'onda audio, condizionata sullo spettrogramma mel. La formazione massimizza l'esatta verosimiglianza dei dati, quindi non necessita di discriminatori separati, di auto-regressione e di distillazione tra due reti insegnante-studente richieste dai precedenti approcci WaveNet paralleli. Per generare l'audio si campiona il rumore gaussiano e si esegue la rete invertibile al contrario. WaveGlow produce parlato di qualità paragonabile a WaveNet mentre sintetizza molto più velocemente del tempo reale su una moderna GPU.
Abbinamento con Tacotron 2 nella pipeline TTS di riferimento di NVIDIA per produrre parlato naturale di qualità da studio
Sintesi vocale GPU veloce per flussi di lavoro di narrazione, doppiaggio e creazione di contenuti
Generazione di formazione e audio dimostrativo nella ricerca in cui è preferibile una formazione stabile e con perdita singola
Output vocale in tempo reale in sistemi interattivi eseguiti su hardware NVIDIA
WaveGlow ha dimostrato che i vocoder a flusso puro possono competere con la qualità autoregressiva, influenzando il flusso successivo e i modelli audio di corrispondenza del flusso. La sua semplicità a perdita singola rimane attraente, anche se i vocoder GAN come HiFi-GAN ora spesso vincono in termini di dimensioni e velocità. Guardando al futuro, le idee basate sul flusso e sulla corrispondenza del flusso stanno riemergendo nei moderni TTS adiacenti a diffusione, e i progetti invertibili in stile WaveGlow continuano a informare la ricerca sulla generazione di forme d’onda con probabilità esatta, controllabile ed efficiente.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
WaveGlow è un vocoder neurale basato sul flusso di NVIDIA che sintetizza le forme d'onda del parlato dagli spettrogrammi mel in un unico passaggio senza autoregressione. È importante perché fornisce audio di alta qualità più velocemente del tempo reale utilizzando solo una semplice perdita di probabilità.
WaveGlow fonde la struttura del flusso invertibile di Glow con il design di modellazione audio di WaveNet.
WaveGlow è un flusso di normalizzazione che apprende una mappatura invertibile tra rumore gaussiano e audio.
Poiché la rete è invertibile, si disegna il rumore gaussiano e si fa scorrere il flusso all'indietro, condizionato dallo spettrogramma mel.
Come flusso, WaveGlow massimizza l'esatta probabilità logaritmica, senza richiedere discriminatori o distillazioni.
Ogni fase del flusso accoppia uno strato di accoppiamento affine con una convoluzione invertibile 1x1 adottata da Glow.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Generazione vocale con abbinamento del flusso di Voicebox
IA audio