Il prossimoProssima guida
Diffusione dello spettrogramma di diffusione
IA audio
GUIDA TECNICA
L'algoritmo Griffin-Lim stima una forma d'onda da uno spettrogramma di magnitudo aggiornando iterativamente la fase per far sì che la trasformata di Fourier a breve termine della forma d'onda corrisponda alle magnitudini target.
Ascolta questa guidaNarrato dall'IA · ~3 min
Consente un'inversione approssimativa senza la fase originale, ma la ricostruzione è imperfetta e sensibile allo spettrogramma e alle impostazioni di trasformazione.
Una trasformata di Fourier di breve durata rappresenta un segnale con valori complessi in intervalli di tempo successivi. Ogni valore ha una grandezza e una fase. Molti sistemi prevedono o memorizzano solo le informazioni sulla magnitudo, che non sono sufficienti per una ricostruzione esatta perché la fase influenza anche il modo in cui le componenti della frequenza si combinano nel tempo. Griffin-Lim affronta questo problema della fase mancante stimando un modello di fase compatibile con uno spettrogramma di magnitudine target. L'algoritmo inizia con una stima di fase iniziale, spesso casuale o altrimenti inizializzata, e la combina con le magnitudini target per formare uno spettrogramma complesso. Quindi applica uno STFT inverso per creare una forma d'onda, calcola l'STFT di quella forma d'onda e sostituisce le magnitudini risultanti con le magnitudini target desiderate mantenendo la fase appena stimata. La ripetizione di questa proiezione tra STFT coerenti con la forma d'onda e il vincolo di ampiezza target può migliorare la coerenza. Poiché gli spettrogrammi di magnitudo potrebbero non corrispondere esattamente a nessuna forma d'onda con le impostazioni STFT scelte, le proiezioni possono solo cercare un'approssimazione compatibile. L'inizializzazione, la dimensione della finestra, la lunghezza dell'hop, la funzione della finestra, la centratura e il conteggio delle iterazioni influiscono sui risultati. Più iterazioni possono migliorare alcune forme di coerenza ma non garantiscono in ogni caso un audio percettivamente migliore. La stima non garantisce il recupero della fase originale e l'output può contenere asperità o rumore musicale. Griffin-Lim è prezioso come riferimento trasparente e come strumento diagnostico. Può trasformare uno spettrogramma previsto in audio senza addestrare un modello di sintesi separato, ma la qualità potrebbe essere limitata per il parlato o la musica naturale. I vocoder neurali apprendono una mappatura dalle rappresentazioni acustiche alle forme d'onda e sono comuni nelle moderne condutture TTS neurali, sebbene richiedano modelli addestrati e introducono i propri presupposti e artefatti. Quando si confrontano le ricostruzioni, mantenere la definizione STFT abbinata a quella che ha prodotto le magnitudini. Ascolta l'output e controlla la qualità rilevante per l'attività, poiché uno spettrogramma o una metrica scalare non possono catturare ogni difetto udibile. Per i sistemi vocali, valutare l'intelligibilità e la naturalezza separatamente dalla coerenza spettrale numerica.
Un progetto vocale converte le magnitudini lineari o mel previste in una forma d'onda udibile con Griffin-Lim come semplice linea di base.
Un ingegnere ascolta gli artefatti metallici dopo aver ricostruito uno spettrogramma e confronta i risultati attraverso i conteggi delle iterazioni.
Una pipeline di preelaborazione registra la dimensione della finestra, la lunghezza del salto, la funzione della finestra e le impostazioni di centratura in modo che le trasformazioni di analisi e sintesi si allineino.
Un team utilizza un vocoder neurale appreso per la generazione vocale finale, ma conserva Griffin-Lim per una rapida riproduzione diagnostica delle grandezze.
I vocoder neurali appresi offrono una generazione di forme d'onda più forte in molte condutture vocali attuali, mentre Griffin-Lim rimane un semplice strumento di riserva e didattico. I futuri sistemi di sintesi potrebbero combinare informazioni a priori apprese con vincoli espliciti di segnale, ma tali approcci richiedono anche una valutazione della velocità, della stabilità e degli artefatti percettivi. I metodi iterativi classici rimangono utili quando la trasparenza e la bassa complessità di configurazione sono importanti. La qualità della ricostruzione continuerà a dipendere dalle impostazioni di rappresentazione e analisi fornite all'algoritmo. Le uscite del modello dovrebbero essere testate su altoparlanti, stili e condizioni di registrazione.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
L'algoritmo Griffin-Lim stima una forma d'onda da uno spettrogramma di magnitudo aggiornando iterativamente la fase per far sì che la trasformata di Fourier a breve termine della forma d'onda corrisponda alle magnitudini target. Consente un'inversione approssimativa senza la fase originale, ma la ricostruzione è imperfetta e sensibile allo spettrogramma e alle impostazioni di trasformazione.
L'algoritmo stima iterativamente la fase perché la sola ampiezza è incompleta per la ricostruzione della forma d'onda.
Il vincolo di ampiezza viene imposto nuovamente utilizzando la fase della forma d'onda ricostruita.
Le impostazioni di trasformazione definiscono il modo in cui i frame e i contenitori di frequenza corrispondono al segnale.
Più iterazioni possono migliorare la coerenza ma non garantiscono una migliore qualità percepita.
Fornisce una sintesi approssimativa della forma d'onda senza addestrare un vocoder neurale.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Diffusione dello spettrogramma di diffusione
IA audio