Enmascaramiento de tiempo-frecuencia para la separación de fuentes

Cuando varias fuentes se superponen, sus formas de onda se combinan en una mezcla. Una transformada de Fourier de corto tiempo divide la mezcla en intervalos de tiempo-frecuencia, donde algunas fuentes pueden dominar diferentes regiones. Una máscara asigna un valor a cada contenedor y lo multiplica con la representación de la mezcla para enfatizar una fuente objetivo y suprimir otras. Luego, una transformación inversa convierte la representación enmascarada nuevamente en audio. Una máscara binaria ideal utiliza valores como cero o uno, asignando cada contenedor a un origen de acuerdo con una regla de destino. Es intuitivo pero puede crear límites abruptos de tiempo-frecuencia y ruido musical. Una máscara de relación ideal comúnmente utilizada utiliza valores continuos entre cero y uno, que representan la contribución o energía relativa de un objetivo. Las máscaras suaves pueden conservar información más graduada pero pueden dejar interferencias. La definición exacta de la proporción, el exponente de potencia y el objetivo de entrenamiento varían según el método. Las máscaras de magnitud multiplican las magnitudes de la mezcla y normalmente reutilizan la fase de la mezcla. Esto supone que la fase de mezcla es una aproximación adecuada al objetivo, lo que puede limitar la calidad cuando las fuentes se superponen fuertemente. Una máscara compleja opera con valores STFT complejos y puede ajustar tanto la fase como la magnitud. Ofrece una corrección más rica pero es más exigente de estimar y puede ser sensible a los detalles de la representación. Una máscara no descubre grabaciones de fuentes aisladas; estima una descomposición consistente con los patrones aprendidos y la mezcla observada. La reverberación, los altavoces en movimiento, la falta de coincidencia de fuentes y las interacciones de fase crean desafíos. La familiar aditividad de las formas de onda fuente no significa que las magnitudes estimadas se sumen exactamente, porque los componentes complejos pueden interferir. Evalúe el audio separado con medidas adecuadas al objetivo, como inteligibilidad, interferencia, distorsión o desempeño de tareas posteriores, y escuche resultados representativos. Registre los parámetros STFT y la definición de máscara. Un método de separación optimizado para el habla puede dañar la música o conservar el altavoz equivocado. Las métricas y la escucha deben reflejar las condiciones y los usuarios previstos.