Розділення музики «Відкрити-Розмікшувати».
Open-Unmix (UMX) — це система глибокого навчання з відкритим кодом, яка розділяє пісню на частини: вокал, ударні, бас та інші інструменти.
Огляд
It matters as a reproducible, reference-quality baseline that made music source separation accessible to researchers, musicians, and hobbyists.
Глибоке занурення
Open-Unmix, випущений у 2019 році Стотером, Уліхом, Ліуткусом і Міцуфудзі, був навмисно створений як прозора, добре задокументована базова лінія в PyTorch (з портами TensorFlow і NNabla). Він навчає одну модель на цільовий стовбур на спектрограмі величини суміші. Ядро являє собою тришаровий двонаправлений LSTM, обгорнутий повністю з’єднаними шарами, який передбачає спектральну маску для цільового джерела. Оскільки він працює на величині, він повторно використовує фазу суміші та реконструює основу за допомогою зворотного STFT, опціонально вдосконаленого за допомогою багатоканального фільтра Вінера. Навчаючись на відкритому наборі даних MUSDB18, він не женеться за найкращими результатами в таблиці лідерів; її метою є ясність і відтворюваність, надаючи спільноті надійну точку порівняння та основу для розвитку.
Технічне розуміння
Кожен ствол має власну мережу, що працює на спектрограмі вхідної величини. Частотні розділи стандартизовані та розмірність зменшена щільним шаром, двонаправлений LSTM фіксує часовий контекст в обох напрямках, а подальші щільні шари розширюються до повної частотної роздільної здатності для створення м’якої маски. Множення маски на величину суміші дає оцінене джерело; вихідна фаза використовується повторно, а фільтр Вінера може спільно очищати всі стебла для більш чистих результатів.
Стратегічний вплив
Доступ і охоплення
Це покращує доступність завдяки транскрипції, дикторському тексту та голосовому інтерфейсу.
Вартість і бюджет
Медіа-команди можуть доставляти якісний аудіо швидше за менші бюджети.
Швидкість і масштаб
Системи, орієнтовані на клієнта, можуть обробляти голосову взаємодію у більшому масштабі.
Майбутнє розділення музики Open-Unmix
Open-Unmix був випереджений за необробленою якістю такими моделями хвилі, як Demucs і гібридними системами спектрограми-сигналу, але його роль як чіткого довідника, який можна зламати, зберігає його актуальність для навчання та швидкого прототипування. Очікуйте подальше використання в освіті та як базову лінію для перевірки працездатності, тоді як ширша сфера рухається до гібридних і трансформаторних сепараторів з високою точністю та до розділення більш детальних категорій інструментів.
Реалізація в реальному світі
Виділення ізольованої вокальної доріжки для створення караоке або інструментальної версії пісні.
Витягування барабанів або бас-гитари для реміксування та семплювання продюсерами.
Служить відтворюваною дослідницькою базою для оцінки нових моделей поділу на MUSDB18.
Дозвольте студентам-музикантам виділити один інструмент для вивчення його партії в міксі.
Ризики та огорожі
Ризик неправильного використання голосу та видавання себе за іншу особу зростає, якщо згоди немає.
Точність може впасти через акценти, діалекти чи шумне середовище.
Синтетичне аудіо можна прийняти за автентичне мовлення без чіткого маркування.
Дорожня карта впровадження
Отримайте чітку згоду на захоплення голосу, клонування та повторне використання.
Перевірте якість на різних динаміках і фонових умовах.
Визначте, коли людина повинна переглядати або затверджувати результати.
Позначайте синтетичне аудіо та зберігайте записи про походження для підзвітності.
Продовжуйте досліджувати
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Open-Unmix Music Separation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Наступний посібник
Розлука музики
Часті запитання
What is Open-Unmix Music Separation?
Open-Unmix (UMX) — це система глибокого навчання з відкритим кодом, яка розділяє пісню на частини: вокал, ударні, бас та інші інструменти. Це має значення як відтворювана базова лінія еталонної якості, яка зробила розділення музичних джерел доступним для дослідників, музикантів і любителів.
Що робить Open-Unmix?
Open-Unmix — це система розділення музичних джерел, яка розділяє мікс на окремі інструменти та вокал.
Яка нейронна мережа лежить в основі Open-Unmix?
Open-Unmix передбачає спектральну маску за допомогою двонаправленого LSTM, обгорнутого повністю пов’язаними шарами.
На якому представленні працює Open-Unmix?
Він працює на спектрограмах величини, прогнозуючи маску та повторно використовуючи фазу суміші для реконструкції.
На якому наборі даних Open-Unmix навчається?
Open-Unmix використовує відкритий набір даних розділення музики MUSDB18 для навчання та оцінки.
Якою була головна мета дизайну Open-Unmix?
Його створено як чітку, добре задокументовану, відтворювану базову лінію, а не як чорну скриньку з найвищими балами.