打开-分离音乐分离
Open-Unmix (UMX) 是一种开源深度学习系统，它将歌曲分成几个部分：人声、鼓、贝斯和其他乐器。
概述
It matters as a reproducible, reference-quality baseline that made music source separation accessible to researchers, musicians, and hobbyists.
深入探讨
Open-Unmix 由 Stoter、Uhlich、Liutkus 和 Mitsufuji 于 2019 年发布，是在 PyTorch（带有 TensorFlow 和 NNabla 端口）中特意构建的透明、记录良好的基线。它根据混合物的幅度谱图对每个目标茎训练一个模型。其核心是一个由全连接层包裹的三层双向 LSTM，它可以预测目标源的频谱掩模。由于它按幅度进行操作，因此它会重复使用混合物的相位并通过逆 STFT 重建主干，并可选择使用多通道维纳滤波器进行细化。在开放的 MUSDB18 数据集上进行训练，它不会追逐排行榜的最高分数；其目标是清晰度和可重复性，为社区提供值得信赖的比较点和基础。
技术洞察
每个茎都有自己的网络对输入幅度谱图进行操作。频率仓通过致密层进行标准化和降维，双向 LSTM 捕获两个方向的时间上下文，进一步的致密层扩展到全频率分辨率以产生软掩模。将掩模乘以混合幅度即可得到估计的源；原始相被重复使用，维纳滤波器可以联合精炼所有茎以获得更清晰的结果。
战略影响
交通与覆盖范围
它通过转录、旁白和语音界面提高了可访问性。
成本与预算
媒体团队可以用更少的预算更快地交付精美的音频。
速度与规模
面向客户的系统可以处理更大规模的语音交互。
Open-Unmix 音乐分离的未来
Open-Unmix 的原始质量已被 Demucs 和混合频谱图波形系统等波形模型超越，但它作为清晰、可修改的参考的作用使其与教学和快速原型设计保持相关性。预计将继续在教育中使用并作为健全性检查基线，而更广泛的领域将朝着更高保真度的混合和基于变压器的分离器以及分离更多、更细粒度的仪器类别发展。
现实世界的实施
提取孤立的音轨来制作歌曲的卡拉 OK 或器乐版本。
拉出鼓或贝斯杆供制作人重新混音和采样。
作为评估 MUSDB18 上新分离模型的可重复研究基线。
让音乐学生分离出一种乐器来研究它在混音中的部分。
风险与防护栏
如果未征得同意，语音滥用和冒充风险就会增加。
由于口音、方言或嘈杂的环境，准确性可能会下降。
如果没有明确的标签，合成音频可能会被误认为是真实的语音。
实施路线图
获得语音捕获、克隆和重用的明确同意。
测试不同扬声器和背景条件下的质量。
定义人员必须审查或批准输出的时间。
标记合成音频并保留来源记录以供问责。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Open-Unmix Music Separation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Open-Unmix Music Separation?
Open-Unmix (UMX) 是一种开源深度学习系统，它将歌曲分成几个部分：人声、鼓、贝斯和其他乐器。它作为可复制的参考质量基线很重要，使研究人员、音乐家和业余爱好者能够实现音乐源分离。
Open-Unmix 有什么作用？
Open-Unmix 是一种音乐源分离系统，可将混合物分成单独的乐器和声乐。
Open-Unmix 的核心是什么神经网络？
Open-Unmix 使用由全连接层包裹的双向 LSTM 来预测频谱掩模。
Open-Unmix 在什么表示上运行？
它适用于幅度谱图，预测掩模并重新使用混合物的相位进行重建。
Open-Unmix 在哪个数据集上进行训练？
Open-Unmix 使用开放的 MUSDB18 音乐分离数据集进行训练和评估。
Open-Unmix 的主要设计目标是什么？
它是作为一个清晰的、有据可查的、可重复的基线而构建的，而不是一个得分最高的黑匣子。