Музыкальные теги с помощью трансформеров
Маркировка музыки использует модели трансформеров для прослушивания песни и прогнозирования описательных меток, таких как жанр, настроение, инструменты и темп.
Обзор
It powers search, recommendation, and auto-organization across huge music catalogs.
Глубокое погружение
Автоматическая пометка музыки — это проблема классификации по нескольким ярлыкам: один трек может одновременно быть «роковым», «энергичным», «гитарным» и «инструментальным». Трансформаторы решают эту проблему, превращая звук в спектрограмму (частотно-временное изображение) и пропуская его фрагменты через слои самообслуживания, подобно тому, как Vision Transformer обрабатывает фрагменты изображения. Такие модели, как Audio Spectrogram Transformer (AST) и MERT, изучают паттерны дальнего действия по всему треку, фиксируя, как припев соотносится с куплетом с интервалом в несколько минут. Многие из них проходят предварительное обучение с самоконтролем на миллионах немаркированных клипов, а затем настраиваются на наборах данных с тегами, таких как MagnaTagATune или набор данных Million Song. Поскольку теги не являются взаимоисключающими, последний уровень использует результаты сигмовидной формы, оцениваемые по таким критериям, как средняя средняя точность и ROC-AUC.
Техническая информация
Необработанный звук преобразуется в спектрограмму log-Mel, разбивается на перекрывающиеся фрагменты и линейно внедряется с помощью позиционного кодирования. Внимание к себе позволяет каждому патчу взвешивать каждый другой патч, поэтому отдаленные музыкальные события влияют на каждый тег. В отличие от классификаторов изображений с одной меткой, при маркировке музыкальных тегов для каждого тега применяется сигмоид, а не один softmax, поскольку метки встречаются одновременно. Предварительное обучение с самоконтролем (прогнозирование замаскированных аудиотокенов) дает четкое представление перед точной настройкой на небольших помеченных наборах.
Стратегическое воздействие
Доступ и охват
Это улучшает доступность за счет транскрипции, повествования и голосовых интерфейсов.
Стоимость и бюджет
Медиа-команды могут выпускать качественное аудио быстрее с меньшими бюджетами.
Скорость и масштаб
Системы, работающие с клиентами, могут обрабатывать устные взаимодействия в большем масштабе.
Будущее музыкальной маркировки с помощью трансформеров
Добавление тегов объединяется с пониманием естественного языка, поэтому вы можете искать «мечтательный лоу-фай с виниловым потрескиванием для учебы» вместо фиксированных кнопок жанра. Контрастные аудиотекстовые модели, такие как CLAP, выравнивают музыку и описания в одном пространстве, позволяя использовать теги с нулевым содержанием, никогда не встречающиеся при обучении. Ожидайте более богатых и детализированных ярлыков, лучшей обработки смешанных жанров и тегов на устройстве для обеспечения конфиденциальности. Споры о правах и атрибуции вокруг обучения работе с каталогами, защищенными авторским правом, будут определять, какие данные могут использовать эти модели.
Реальная реализация
Автоматическое создание тегов жанра и настроения, чтобы потоковые сервисы могли создавать плейлисты для «фокусировки» или «для тренировок».
Разрешение музыкальным библиотекам предлагать «оптимистичные» треки акустической гитары для видеоредакторов, ищущих лицензию для синхронизации.
Создание механизмов рекомендаций, которые находят песни, похожие по звучанию, помимо тех, которые явно оценили пользователи.
Автоматическая организация коллекции семплов продюсера по обнаруженному инструменту, тональности и темпу
Риски и ограничения
Риски неправильного использования голоса и выдачи себя за другое лицо возрастают при отсутствии согласия.
Точность может снижаться из-за акцентов, диалектов или шумной обстановки.
Синтетический звук можно принять за аутентичную речь без четкой маркировки.
Дорожная карта реализации
Получите явное согласие на захват, клонирование и повторное использование голоса.
Проверьте качество звука при использовании различных динамиков и фоновых условий.
Определите, когда человек должен проверять или утверждать результаты.
Маркируйте синтетический звук и сохраняйте записи о происхождении для обеспечения ответственности.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Music Tagging with Transformers quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Автоматическая пометка музыки
Часто задаваемые вопросы
What is Music Tagging with Transformers?
Маркировка музыки использует модели трансформеров для прослушивания песни и прогнозирования описательных меток, таких как жанр, настроение, инструменты и темп. Он обеспечивает поиск, рекомендации и автоматическую организацию в огромных музыкальных каталогах.
Почему маркировка музыкальных тегов рассматривается как проблема с несколькими метками?
Песня может быть одновременно роковой, энергичной и гитарной, поэтому к одному треку можно применить несколько тегов.
Какое входное представление обычно используют тегеры преобразователей?
Звук преобразуется в частотно-временную спектрограмму, затем исправляется и передается через самообладание, как патчи изображения.
Почему модели с тегами музыки используют сигмоидальный вывод для каждого тега вместо одного softmax?
Softmax заставляет вероятности приравниваться к единице (одиночный выбор); sigmoid позволяет каждому тегу быть истинным независимо.
Какова роль предварительной подготовки с самоконтролем для таких моделей, как MERT?
Предварительное обучение предсказанию звука по маске на больших неразмеченных корпусах создает представления, которые позже дорабатываются на основе размеченных данных.
Какой набор данных обычно используется для точной настройки и тестирования музыкальных тегов?
MagnaTagATune и набор данных Million Song являются стандартными музыкальными тестами с тегами; MNIST и ImageNet — это наборы изображений.