Отваряне-Размиксиране на музикално разделяне
Open-Unmix (UMX) е система за дълбоко обучение с отворен код, която разделя песен на части: вокали, барабани, бас и други инструменти.
Преглед
It matters as a reproducible, reference-quality baseline that made music source separation accessible to researchers, musicians, and hobbyists.
Дълбоко гмуркане
Издаден през 2019 г. от Stoter, Uhlich, Liutkus и Mitsufuji, Open-Unmix е създаден умишлено като прозрачна, добре документирана базова линия в PyTorch (с портове TensorFlow и NNabla). Той обучава един модел на целево стъбло върху спектрограмата на величината на сместа. Ядрото е трислоен двупосочен LSTM, обвит от напълно свързани слоеве, който предсказва спектрална маска за целевия източник. Тъй като работи с величина, той използва повторно фазата на сместа и реконструира стеблото чрез обратен STFT, опционално пречистен с многоканален Wiener филтър. Обучен на отворения набор от данни MUSDB18, той не преследва най-добрите резултати в класацията; целта му е яснота и възпроизводимост, давайки на общността надеждна точка за сравнение и основа за надграждане.
Техническа информация
Всяко стъбло има своя собствена мрежа, работеща върху спектрограмата на входната величина. Честотните раздели са стандартизирани и размерите са намалени чрез плътен слой, двупосочен LSTM улавя времевия контекст и в двете посоки, а допълнителните плътни слоеве се разширяват обратно до пълна честотна разделителна способност, за да създадат мека маска. Умножаването на маската по величината на сместа дава изчисления източник; оригиналната фаза се използва повторно и филтър на Wiener може съвместно да пречисти всички стъбла за по-чисти резултати.
Стратегическо въздействие
Access and reach
Той подобрява достъпността чрез интерфейси за транскрипция, дикторски текст и глас.
Cost and budget
Медийните екипи могат да доставят изпипано аудио по-бързо с по-малки бюджети.
Speed and scale
Системите, насочени към клиента, могат да обработват устни взаимодействия в по-голям мащаб.
Бъдещето на разделянето на музиката Open-Unmix
Open-Unmix е изпреварен по отношение на суровото качество от вълнови модели като Demucs и хибридни спектрограмни вълнови системи, но ролята му на ясна справка, която може да се хакне, го поддържа уместен за преподаване и бързо прототипиране. Очаквайте продължителна употреба в образованието и като базова линия за проверка на разума, докато по-широкото поле се движи към хибридни и базирани на трансформатори сепаратори с по-висока прецизност и към отделяне на повече, по-фини категории инструменти.
Внедряване в реалния свят
Извличане на изолирана вокална песен, за да се направи караоке или инструментална версия на песен.
Издърпване на барабани или бас стъбла за ремиксиране и семплиране от производителите.
Служи като възпроизводима база за изследване за оценка на нови модели за разделяне на MUSDB18.
Позволяване на студентите по музика да изолират един инструмент, за да изучават неговата роля в микс.
Рискове и предпазни огради
Рисковете от злоупотреба с глас и имитация се увеличават, когато липсва съгласие.
Точността може да спадне при акценти, диалекти или шумна среда.
Синтетичното аудио може да бъде сбъркано с автентична реч без ясно етикетиране.
Пътна карта за изпълнение
Получете изрично съгласие за улавяне на глас, клониране и повторно използване.
Тествайте качеството при различни високоговорители и фонови условия.
Определете кога човек трябва да прегледа или одобри резултатите.
Етикетирайте синтетичното аудио и поддържайте записи за произход за отчетност.
Продължете да изследвате
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Open-Unmix Music Separation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Музикална раздяла
Frequently asked questions
What is Open-Unmix Music Separation?
Open-Unmix (UMX) е система за дълбоко обучение с отворен код, която разделя песен на части: вокали, барабани, бас и други инструменти. Има значение като възпроизводима базова линия с референтно качество, която направи разделянето на музикалния източник достъпно за изследователи, музиканти и любители.
Какво прави Open-Unmix?
Open-Unmix е система за разделяне на музикален източник, която разделя сместа на отделни инструменти и вокални елементи.
Каква невронна мрежа е в основата на Open-Unmix?
Open-Unmix прогнозира спектрална маска, използвайки двупосочен LSTM, обвит от напълно свързани слоеве.
На какво представяне работи Open-Unmix?
Работи върху спектрограми на магнитуд, предсказва маска и използва повторно фазата на сместа за реконструкция.
На кой набор от данни се обучава Open-Unmix?
Open-Unmix използва отворения набор от данни за разделяне на музика MUSDB18 за обучение и оценка.
Каква беше основната цел на дизайна на Open-Unmix?
Той е изграден като ясна, добре документирана, възпроизводима базова линия, а не черна кутия с най-добри резултати.