Инверсия спектрограммы Гриффина-Лима

Кратковременное преобразование Фурье представляет сигнал с комплексными значениями в последовательных интервалах времени. Каждое значение имеет величину и фазу. Многие системы прогнозируют или сохраняют только информацию о величине, которой недостаточно для точной реконструкции, поскольку фаза также влияет на то, как частотные компоненты объединяются во времени. Гриффин-Лим решает эту проблему отсутствия фазы, оценивая фазовую структуру, совместимую со спектрограммой целевой величины. Алгоритм начинается с начальной оценки фазы, часто случайной или инициализированной иным образом, и объединяет ее с целевыми величинами, чтобы сформировать сложную спектрограмму. Затем он применяет обратное STFT для создания сигнала, вычисляет STFT этого сигнала и заменяет полученные величины желаемыми целевыми величинами, сохраняя при этом вновь оцененную фазу. Повторение этой проекции между STFT, согласованными по форме сигнала, и ограничением целевой величины может улучшить согласованность. Поскольку спектрограммы амплитуд могут не соответствовать точно ни одной форме сигнала при выбранных настройках STFT, проекции могут искать только совместимое приближение. Инициализация, размер окна, длина перехода, функция окна, центрирование и количество итераций влияют на результаты. Дополнительные итерации могут улучшить некоторые формы согласованности, но не гарантируют лучшее восприятие звука в каждом случае. Оценка не гарантирует восстановление исходной фазы, а выходные данные могут содержать шероховатости или музыкальный шум. Griffin-Lim ценен как прозрачный базовый и диагностический инструмент. Он может превратить предсказанную спектрограмму в аудио без обучения отдельной модели синтеза, но качество естественной речи или музыки может быть ограничено. Нейронные вокодеры изучают сопоставление акустических представлений с формами сигналов и часто встречаются в современных нейронных конвейерах TTS, хотя они требуют обученных моделей и вводят свои собственные предположения и артефакты. При сравнении реконструкций сохраняйте соответствие определения STFT тому, которое создало магнитуды. Прослушайте выходные данные и проверьте качество, соответствующее задаче, поскольку спектрограмма или скалярная метрика не могут уловить каждый слышимый дефект. Для речевых систем разборчивость и естественность оценивают отдельно от числовой спектральной согласованности.