打開-分離音樂分離
Open-Unmix (UMX) 是一種開源深度學習系統，它將歌曲分成幾個部分：人聲、鼓、貝斯和其他樂器。
概述
It matters as a reproducible, reference-quality baseline that made music source separation accessible to researchers, musicians, and hobbyists.
深入探討
Open-Unmix 由 Stoter、Uhlich、Liutkus 和 Mitsufuji 於 2019 年發布，是在 PyTorch（帶有 TensorFlow 和 NNabla 連接埠）中特意構建的透明、記錄良好的基線。它根據混合物的幅度譜圖對每個目標莖訓練一個模型。其核心是一個由全連接層包裹的三層雙向 LSTM，它可以預測目標來源的頻譜掩模。由於它按振幅進行操作，因此它會重複使用混合物的相位並透過逆 STFT 重建主幹，並可選擇使用多通道維納濾波器進行細化。在開放的 MUSDB18 資料集上進行訓練，它不會追逐排行榜的最高分數；其目標是清晰度和可重複性，為社區提供值得信賴的比較點和基礎。
技術洞察
每個莖都有自己的網路對輸入幅度譜圖進行操作。頻率倉透過緻密層進行標準化和降維，雙向 LSTM 捕獲兩個方向的時間上下文，進一步的緻密層擴展到全頻率分辨率以產生軟掩模。將掩模乘以混合幅度即可得到估計的源；原始相被重複使用，維納濾波器可以聯合精煉所有莖以獲得更清晰的結果。
戰略影響
交通與覆蓋範圍
它透過轉錄、旁白和語音介面提高了可訪問性。
成本與預算
媒體團隊可以用更少的預算更快地交付精美的音訊。
速度與規模
面向客戶的系統可以處理更大規模的語音互動。
Open-Unmix 音樂分離的未來
Open-Unmix 的原始品質已被 Demucs 和混合頻譜圖波形系統等波形模型超越，但它作為清晰、可修改的參考的作用使其與教學和快速原型設計保持相關性。預計將繼續在教育中使用並作為健全性檢查基線，而更廣泛的領域將朝著更高保真度的混合和基於變壓器的分離器以及分離更多、更細粒度的儀器類別發展。
現實世界的實施
提取孤立的音軌來製作歌曲的卡拉 OK 或器樂版本。
拉出鼓或貝斯桿供製作人重新混音和取樣。
作為評估 MUSDB18 上新分離模型的可重複研究基線。
讓音樂學生分離出一種樂器來研究它在混音中的部分。
風險與防護欄
如果未徵得同意，語音濫用和冒充風險就會增加。
由於口音、方言或嘈雜的環境，準確性可能會下降。
如果沒有明確的標籤，合成音訊可能會被誤認為是真實的語音。
實施路線圖
獲得語音捕獲、克隆和重用的明確同意。
測試不同揚聲器和背景條件下的品質。
定義人員必須審查或批准輸出的時間。
標記合成音訊並保留來源記錄以供問責。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Open-Unmix Music Separation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is Open-Unmix Music Separation?
Open-Unmix (UMX) 是一種開源深度學習系統，它將歌曲分成幾個部分：人聲、鼓、貝斯和其他樂器。它作為可複製的參考品質基準很重要，使研究人員、音樂家和業餘愛好者能夠實現音樂來源分離。
Open-Unmix 有什麼作用？
Open-Unmix 是一種音樂來源分離系統，可將混合分成單獨的樂器和聲樂。
Open-Unmix 的核心是什麼神經網路？
Open-Unmix 使用全連接層包覆的雙向 LSTM 來預測頻譜遮罩。
Open-Unmix 在什麼表示上運作？
它適用於幅度譜圖，預測掩模並重新使用混合物的相位進行重建。
Open-Unmix 在哪個資料集上進行訓練？
Open-Unmix 使用開放的 MUSDB18 音樂分離資料集進行訓練和評估。
Open-Unmix 的主要設計目標是什麼？
它是作為一個清晰的、有據可查的、可重複的基線而構建的，而不是一個得分最高的黑盒子。