Il prossimoProssima guida
Vocoder WaveGAN parallelo
IA audio
GUIDA AI audio
HiFi-GAN è un vocoder generativo-avversario che trasforma quasi istantaneamente uno spettrogramma mel in una forma d'onda audio grezza, producendo un parlato di qualità da studio molto più velocemente del tempo reale.
Ascolta questa guidaNarrato dall'IA · ~2 min
È diventato lo stadio finale standard della moderna sintesi vocale perché è veloce, leggero e difficile da distinguere dalle registrazioni reali.
Un vocoder è l'ultimo passaggio nella maggior parte delle pipeline TTS: un modello come Tacotron o FastSpeech prevede uno spettrogramma mel (un'immagine compatta della frequenza nel tempo) e il vocoder riempie i campioni di forma d'onda effettivi. I primi vocoder neurali come WaveNet suonavano alla grande ma generavano audio campione per campione, rendendoli dolorosamente lenti. HiFi-GAN, rilasciato da Kong, Kim e Bae nel 2020, ha sostituito quel circuito autoregressivo con un singolo generatore feed-forward addestrato in modo contraddittorio. Il suo trucco chiave sta nell'utilizzare più discriminatori che giudicano l'audio su scale diverse e su modelli periodici diversi, costringendo il generatore a ottenere sia la trama fine che la periodicità dell'intonazione. Il risultato è un parlato a 22 kHz sintetizzato centinaia di volte più velocemente del tempo reale su una GPU, con una qualità che rivaleggia con l'audio terrestre.
Generazione di output vocale di assistenti virtuali e app di navigazione che necessitano di risposte senza ritardi udibili.
Potenzia strumenti di clonazione e doppiaggio della voce in tempo reale in cui uno spettrogramma mel clonato viene trasformato in un audio dal suono naturale.
Promuovere piattaforme di narrazione di audiolibri e podcast che sintetizzano ore di discorso in modo rapido ed economico.
Funge da stadio della forma d'onda all'interno di sintetizzatori vocali e demo musicali tramite vocoder universali in stile BigVGAN.
I vocoder GAN continuano a diventare più piccoli e più veloci: discendenti come BigVGAN aggiungono attivazioni anti-alias per generalizzare tra cantanti, strumenti e lingue invisibili, mentre UnivNet e Vocos spingono verso la sintesi universale di tutte le bande. Le varianti di streaming e sul dispositivo ora eseguono il vocoding all'interno di telefoni e auricolari per assistenti a bassa latenza. Sempre più spesso, i modelli audio di diffusione e adattamento del flusso vengono distillati in generatori a passaggio singolo in stile GAN, fondendo la fedeltà della diffusione con la velocità GAN. Aspettatevi che i vocoder svaniscano nei codec audio neurali generici che alimentano sia il parlato che la musica.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
HiFi-GAN è un vocoder generativo-avversario che trasforma quasi istantaneamente uno spettrogramma mel in una forma d'onda audio grezza, producendo un parlato di qualità da studio molto più velocemente del tempo reale. È diventato lo stadio finale standard della moderna sintesi vocale perché è veloce, leggero e difficile da distinguere dalle registrazioni reali.
Un vocoder è lo stadio finale che sintetizza i campioni di forme d'onda effettivi dallo spettrogramma mel prodotto da un modello acustico.
WaveNet ha generato audio campione per campione (in modo autoregressivo), mentre il generatore feed-forward di HiFi-GAN emette la forma d'onda in un colpo solo, raggiungendo una velocità molto più veloce del tempo reale.
Il discriminatore multiperiodale rimodella la forma d'onda 1D in 2D utilizzando periodi con numeri primi per rilevare la struttura periodica legata all'altezza.
In una configurazione GAN, il generatore impara a produrre forme d'onda sufficientemente realistiche da ingannare le reti discriminatrici addestrate a distinguere il reale dall'audio sintetico.
BigVGAN aumenta l'HiFi-GAN e aggiunge attivazioni periodiche anti-aliasing, migliorando la generalizzazione all'audio fuori distribuzione come canto e strumenti.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Vocoder WaveGAN parallelo
IA audio