Inversione dello spettrogramma Griffin-Lim

Una trasformata di Fourier di breve durata rappresenta un segnale con valori complessi in intervalli di tempo successivi. Ogni valore ha una grandezza e una fase. Molti sistemi prevedono o memorizzano solo le informazioni sulla magnitudo, che non sono sufficienti per una ricostruzione esatta perché la fase influenza anche il modo in cui le componenti della frequenza si combinano nel tempo. Griffin-Lim affronta questo problema della fase mancante stimando un modello di fase compatibile con uno spettrogramma di magnitudine target. L'algoritmo inizia con una stima di fase iniziale, spesso casuale o altrimenti inizializzata, e la combina con le magnitudini target per formare uno spettrogramma complesso. Quindi applica uno STFT inverso per creare una forma d'onda, calcola l'STFT di quella forma d'onda e sostituisce le magnitudini risultanti con le magnitudini target desiderate mantenendo la fase appena stimata. La ripetizione di questa proiezione tra STFT coerenti con la forma d'onda e il vincolo di ampiezza target può migliorare la coerenza. Poiché gli spettrogrammi di magnitudo potrebbero non corrispondere esattamente a nessuna forma d'onda con le impostazioni STFT scelte, le proiezioni possono solo cercare un'approssimazione compatibile. L'inizializzazione, la dimensione della finestra, la lunghezza dell'hop, la funzione della finestra, la centratura e il conteggio delle iterazioni influiscono sui risultati. Più iterazioni possono migliorare alcune forme di coerenza ma non garantiscono in ogni caso un audio percettivamente migliore. La stima non garantisce il recupero della fase originale e l'output può contenere asperità o rumore musicale. Griffin-Lim è prezioso come riferimento trasparente e come strumento diagnostico. Può trasformare uno spettrogramma previsto in audio senza addestrare un modello di sintesi separato, ma la qualità potrebbe essere limitata per il parlato o la musica naturale. I vocoder neurali apprendono una mappatura dalle rappresentazioni acustiche alle forme d'onda e sono comuni nelle moderne condutture TTS neurali, sebbene richiedano modelli addestrati e introducono i propri presupposti e artefatti. Quando si confrontano le ricostruzioni, mantenere la definizione STFT abbinata a quella che ha prodotto le magnitudini. Ascolta l'output e controlla la qualità rilevante per l'attività, poiché uno spettrogramma o una metrica scalare non possono catturare ogni difetto udibile. Per i sistemi vocali, valutare l'intelligibilità e la naturalezza separatamente dalla coerenza spettrale numerica.