概述
它作为可复制的参考质量基线很重要，使研究人员、音乐家和业余爱好者能够实现音乐源分离。
深入探讨
Open-Unmix (UMX) 是用于音乐源分离的开放参考实现。它提供了人声、鼓、贝斯和其他乐器的模型，参考系统在 MUSDB18 上进行训练。其设计有利于将清晰度和可重复性作为研究的基准。在核心频谱图模型中，特定于目标的网络预测混合幅度的掩模；重建使用混合相位，并且多通道维纳滤波器可以选择性地细化估计的主干。当前的项目变体可能在训练数据和输入/输出接口方面有所不同，因此此处的声明指的是原始参考方法。
现实世界的实施
提取孤立的音轨来制作歌曲的卡拉 OK 或器乐版本。
拉出鼓或贝斯杆供制作人重新混音和采样。
作为评估 MUSDB18 上新分离模型的可重复研究基线。
让音乐学生分离出一种乐器来研究它在混音中的部分。
Open-Unmix 音乐分离的未来
Open-Unmix 的原始质量已被 Demucs 和混合频谱图波形系统等波形模型超越，但它作为清晰、可修改的参考的作用使其与教学和快速原型设计保持相关性。预计将继续在教育中使用并作为健全性检查基线，而更广泛的领域将朝着更高保真度的混合和基于变压器的分离器以及分离更多、更细粒度的仪器类别发展。
付诸实践
为什么这很重要
- 交通与覆盖范围. 它通过转录、旁白和语音界面提高了可访问性。
- 成本与预算. 媒体团队可以用更少的预算更快地交付精美的音频。
- 速度与规模. 面向客户的系统可以处理更大规模的语音交互。
留意
- 如果未征得同意，语音滥用和冒充风险就会增加。
- 由于口音、方言或嘈杂的环境，准确性可能会下降。
- 如果没有明确的标签，合成音频可能会被误认为是真实的语音。
后续步骤
- 获得语音捕获、克隆和重用的明确同意。
- 测试不同扬声器和背景条件下的质量。
- 定义人员必须审查或批准输出的时间。
- 标记合成音频并保留来源记录以供问责。
不断探索
常见问题
什么是开放-分离音乐分离？
Open-Unmix (UMX) 是一种开源深度学习系统，它将歌曲分成几个部分：人声、鼓、贝斯和其他乐器。它作为可复制的参考质量基线很重要，使研究人员、音乐家和业余爱好者能够实现音乐源分离。
Open-Unmix 有什么作用？
Open-Unmix 是一种音乐源分离系统，可将混合物分成单独的乐器和声乐。
Open-Unmix 的核心是什么神经网络？
Open-Unmix 使用由全连接层包裹的双向 LSTM 来预测频谱掩模。
Open-Unmix 在什么表示上运行？
它适用于幅度谱图，预测掩模并重新使用混合物的相位进行重建。
Open-Unmix 在哪个数据集上进行训练？
Open-Unmix 使用开放的 MUSDB18 音乐分离数据集进行训练和评估。
Open-Unmix 的主要设计目标是什么？
它是作为一个清晰的、有据可查的、可重复的基线而构建的，而不是一个得分最高的黑匣子。