Автоматическая пометка музыки
Автоматическая пометка музыки использует машинное обучение для прослушивания песни и автоматически присваивает описательные метки, такие как жанр, настроение, инструменты и темп.
Обзор
It powers the search, recommendation, and organization features behind every major streaming service.
Глубокое погружение
Автоматическая пометка музыки рассматривает маркировку как проблему классификации по нескольким меткам: один трек может быть одновременно «роковым», «энергичным» и «гитарным». Современные системы преобразуют необработанный звук в мел-спектрограмму (частотно-временное изображение звука) и пропускают его через сверточную или трансформаторную нейронную сеть, обученную на таких наборах данных, как MagnaTagATune, Million Song Dataset или MTG-Jamendo. Модель выводит вероятность для каждого возможного тега. Поскольку теги, применяемые человеком, зашумлены и неполны, обучение затруднено, а метки несбалансированы. Одна и та же основа все чаще создается на основе аудиомоделей с самоконтролем, поэтому единое представление обеспечивает тегирование, рекомендации и поиск по сходству, а не строит отдельную модель для каждого тега.
Техническая информация
Звук разбивается на короткие перекрывающиеся кадры, преобразуется с помощью кратковременного преобразования Фурье и отображается в мел-шкале, имитирующей человеческое восприятие высоты звука. CNN считывает эту спектрограмму как изображение, изучая фильтры гармонических структур, ритма и тембра. Последний уровень использует сигмовидные активации (не softmax), поскольку теги независимы и неэксклюзивны и оптимизированы с помощью двоичной перекрестной энтропии для сотен возможных меток.
Стратегическое воздействие
Доступ и охват
Это улучшает доступность за счет транскрипции, повествования и голосовых интерфейсов.
Стоимость и бюджет
Медиа-команды могут выпускать качественное аудио быстрее с меньшими бюджетами.
Скорость и масштаб
Системы, работающие с клиентами, могут обрабатывать устные взаимодействия в большем масштабе.
Будущее автоматической пометки музыки
Автоматическая пометка смещается в сторону систем с открытым словарем и текстовыми запросами, построенных на моделях аудиоязыка, таких как CLAP, где пользователи ищут «мечтательный синтезаторный трек для изучения» без заранее определенных тегов. Ожидайте более тесной связи с генеративными музыкальными инструментами, лучшей обработки редких жанров и незападной музыки, а также тегов на устройстве для обеспечения конфиденциальности. Следующим достижением являются модели субтитров, которые пишут полные описания трека на естественном языке, а не отдельные теги.
Реальная реализация
Spotify и аналогичные сервисы помечают новые загрузки жанром и настроением, чтобы использовать рекомендации по стилю «Discover Weekly».
Библиотеки продакшн-музыки, позволяющие видеоредакторам фильтровать миллионы стандартных треков по «воодушевляющему корпоративу» или «напряженному кинематографу».
Программное обеспечение для диджеев автоматически определяет BPM, тональность и энергию, что позволяет автоматически сортировать и сопоставлять треки.
Платформы лицензирования музыки помечают инструменты и настроение, чтобы песни соответствовали рекламным брифам.
Риски и ограничения
Риски неправильного использования голоса и выдачи себя за другое лицо возрастают при отсутствии согласия.
Точность может снижаться из-за акцентов, диалектов или шумной обстановки.
Синтетический звук можно принять за аутентичную речь без четкой маркировки.
Дорожная карта реализации
Получите явное согласие на захват, клонирование и повторное использование голоса.
Проверьте качество звука при использовании различных динамиков и фоновых условий.
Определите, когда человек должен проверять или утверждать результаты.
Маркируйте синтетический звук и сохраняйте записи о происхождении для обеспечения ответственности.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Music Auto-Tagging quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Музыкальные теги с помощью трансформеров
Часто задаваемые вопросы
What is Music Auto-Tagging?
Автоматическая пометка музыки использует машинное обучение для прослушивания песни и автоматически присваивает описательные метки, такие как жанр, настроение, инструменты и темп. Он обеспечивает функции поиска, рекомендаций и организации, лежащие в основе каждого крупного потокового сервиса.
Почему при автоматической пометке музыки в выходном слое используются сигмовидные активации вместо softmax?
Автоматическая пометка осуществляется по нескольким меткам: трек может быть «роковым», «энергичным» и «гитарным» одновременно, поэтому для каждого тега требуется своя независимая вероятность через сигмоиду.
Какое входное представление большинство современных моделей автоматической пометки вводят в свою нейронную сеть?
Аудио обычно преобразуется в мел-спектрограмму, частотно-временное изображение, которое CNN может обрабатывать так же, как фотографию.
Почему вместо простой линейной шкалы частот используется мел-шкала?
Мел-шкала распределяет частоты так, чтобы они соответствовали человеческому восприятию высоты звука, обеспечивая большее разрешение более низких частот, которые больше всего волнуют наши уши.
В чем заключается основная проблема при обучении моделей автоматической пометки на реальных наборах данных?
Краудсорсинговые теги непоследовательны, многие действительные теги просто отсутствуют, а некоторые теги появляются гораздо чаще, чем другие, что затрудняет обучение.
Какой набор данных обычно используется для обучения и тестирования систем автоматической пометки музыки?
MagnaTagATune, наряду с набором данных Million Song и MTG-Jamendo, является стандартным эталоном для разметки музыкальных тегов. ImageNet предназначен для изображений, SQuAD для контроля качества текста и LibriSpeech для речи.