Democs 和 HT-Demucs 音乐源分离
Democs是Meta的开源音乐源分离模型； Hybrid Transformer Demucs (HT-Demucs) 使用波形和频谱图处理将歌曲分成人声、鼓、贝斯和其他主干。
深入探讨
Demucs（音乐源深度提取器）解决了经典的“取消混合”问题：从最终立体声录音中恢复单个乐器轨道。早期版本使用直接处理原始音频样本的波形域 U-Net，它保留了频谱图方法经常丢失的相位信息。广泛使用的 Hybrid Demucs 和后来的 Hybrid Transformer Demucs (HT-Demucs) 同时处理波形域和频谱图域中的音频，然后将它们融合，并添加跨域变压器注意力来建模远程结构。 Demucs 在 MUSDB18 数据集和额外数据上进行训练，将混音分为四个部分（人声、鼓声、贝斯声、其他），并已成为默认工具，因为它是开源的，在消费级 GPU 上运行，并且在分离基准上始终得分接近顶部。
技术洞察
Hybrid Demucs 运行两个并行的编码器-解码器分支：一个用于时域波形，另一个用于 STFT 频谱图。特征在分支之间交换和组合，因此该模型利用了波形的精确相位和频谱图的清晰频率结构。质量是通过保留歌曲的信号失真比 (SDR)（以分贝为单位）来衡量的。 Transformer 变体增加了自我注意力和交叉注意力，以捕捉几秒内的音乐背景。
战略影响
交通与覆盖范围
它通过转录、旁白和语音界面提高了可访问性。
成本与预算
媒体团队可以用更少的预算更快地交付精美的音频。
速度与规模
面向客户的系统可以处理更大规模的语音交互。
Democs 和 HT-Demucs 音乐源分离的未来
源分离正在朝着更多的方向发展（分离单个吉他、钢琴，甚至特定歌手）、实时和设备上操作以及文本提示分离（“隔离萨克斯管”）。更好的模型将减少密集混合物中仍然出现的水样伪影。随着质量的提高，预计会更深入地集成到 DAW、卡拉 OK 和混音应用程序以及音乐教育工具中，同时关于干净地提取任何艺术家的孤立声音的版权和同意影响的持续争论。
现实世界的实施
制作人和混音师从已发布的曲目中提取干净的阿卡贝拉或乐器
卡拉 OK 应用程序即时删除主唱以创建背景音轨
音乐家隔离贝斯线或鼓槽以进行转录或练习
需要将一台乐器从旧混音中提升出来的音频恢复和采样工作流程
风险与防护栏
如果未征得同意，语音滥用和冒充风险就会增加。
由于口音、方言或嘈杂的环境，准确性可能会下降。
如果没有明确的标签，合成音频可能会被误认为是真实的语音。
实施路线图
获得语音捕获、克隆和重用的明确同意。
测试不同扬声器和背景条件下的质量。
定义人员必须审查或批准输出的时间。
标记合成音频并保留来源记录以供问责。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Demucs and HT-Demucs Music Source Separation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Demucs and HT-Demucs Music Source Separation?
Democs是Meta的开源音乐源分离模型； Hybrid Transformer Demucs (HT-Demucs) 使用波形和频谱图处理将歌曲分成人声、鼓、贝斯和其他主干。
Demucs 对完成的歌曲做了什么？
Democs 执行音乐源分离，将立体声混音分成单独的乐器和声乐部分。
是什么让 Hybrid Demucs 成为“混合体”？
Hybrid Demucs 结合了时域波形分支和频谱图分支，融合了它们的优势。
哪种指标通常用于评估分离质量？
SDR 以分贝为单位，量化估计的词干与真实来源的匹配程度。
哪个组织最初发布了 Democs？
Democs 由 Meta AI / FAIR 的研究人员开发并开源。
为什么早期的 Democs 直接在原始波形上工作？
在波形域中操作可以保留相位，而频谱图幅度方法经常会丢弃该相位，而必须对其进行估计。