ДалееСледующее руководство
Автоматическая пометка музыки
Аудио ИИ
Аудио РУКОВОДСТВО ПО ИИ
Поиск музыкальной информации
Поиск музыкальной информации (MIR) — это область, которая учит компьютеры анализировать, понимать и искать музыку по аудиосигналам и партитурам.
Прослушайте это руководствоОзвучено ИИ · ~2 min
На этой странице2 минуты чтения
Обзор
It powers everything from Shazam-style song identification to Spotify's recommendations and automatic music tagging.
Глубокое погружение
Поиск музыкальной информации находится на стыке обработки сигналов, машинного обучения и музыковедения. Исследователи извлекают из звука такие характеристики, как спектрограмма, кепстральные коэффициенты мел-частоты (MFCC), векторы цветности и темп, чтобы улавливать высоту звука, тембр, ритм и гармонию. На их основе системы MIR выполняют такие задачи, как отслеживание битов, обнаружение клавиш, классификация жанров, извлечение мелодии, идентификация кавер-версий и рекомендации по музыке. Ежегодная конференция ISMIR и оценочная кампания MIREX способствовали прогрессу с 2000 года. Современный MIR все чаще использует глубокое обучение, обучение сверточных и трансформаторных сетей непосредственно на спектрограммах, а также встраивание аудио с самоконтролем, заменяя многие функции, созданные вручную, но при этом полагаясь на концепции теории музыки для маркировки и интерпретации результатов.
Реальная реализация
Shazam и подобные приложения идентифицируют песню по шумной записи телефона по звуковым отпечаткам пальцев.
Spotify и Apple Music генерируют рекомендации и автоматические плейлисты на основе изученного сходства аудио
Автоматическая маркировка настроения, жанра и инструментов для огромных музыкальных библиотек и стандартных аудиобиблиотек.
Обнаружение кавер-версий и потенциальных совпадений авторских прав на таких платформах, как YouTube Content ID.
Будущее поиска музыкальной информации
MIR переходит к большим аудиомоделям с самоконтролем, которые изучают общие музыкальные представления из миллионов немаркированных треков, а затем точно настраиваются для конкретных задач с небольшим количеством маркированных данных. Ожидайте более тесной интеграции с генеративными музыкальными моделями, поиска музыки на естественном языке («найдите оптимистичный джазовый трек с помощью кистей») и лучшей обработки незападных традиций, которыми пренебрегают стандартные модели цветности и тональности. Мультимодальные системы, объединяющие аудио, тексты песен, партитуры и метаданные, сделают рекомендации и открытия гораздо более детальными и персонализированными.
Применение на практике
Почему это важно
- Доступ и охват. Это улучшает доступность за счет транскрипции, повествования и голосовых интерфейсов.
- Стоимость и бюджет. Медиа-команды могут выпускать качественное аудио быстрее с меньшими бюджетами.
- Скорость и масштаб. Системы, работающие с клиентами, могут обрабатывать устные взаимодействия в большем масштабе.
Следите за
- Риски неправильного использования голоса и выдачи себя за другое лицо возрастают при отсутствии согласия.
- Точность может снижаться из-за акцентов, диалектов или шумной обстановки.
- Синтетический звук можно принять за аутентичную речь без четкой маркировки.
Следующие шаги
- Получите явное согласие на захват, клонирование и повторное использование голоса.
- Проверьте качество звука при использовании различных динамиков и фоновых условий.
- Определите, когда человек должен проверять или утверждать результаты.
- Маркируйте синтетический звук и сохраняйте записи о происхождении для обеспечения ответственности.
Продолжайте исследовать
Бесплатная рассылка
Получайте ежедневный AI-обзор
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Take the Music Information Retrieval quiz
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Часто задаваемые вопросы
What is Music Information Retrieval?
Поиск музыкальной информации (MIR) — это область, которая учит компьютеры анализировать, понимать и искать музыку по аудиосигналам и партитурам. Он поддерживает все: от идентификации песен в стиле Shazam до рекомендаций Spotify и автоматической маркировки музыки.
Какие функции цветности в основном используются для захвата в MIR?
Chroma объединяет энергию всех октав в 12 классов высоты тона, что делает их хорошо подходящими для анализа гармонии, аккордов и тональности.
Какое преобразование чаще всего является первым шагом в преобразовании звука в частотно-временное представление?
Кратковременное преобразование Фурье создает спектрограмму, которая является основой для большинства функций и моделей MIR.
На что опирается такое приложение, как Shazam, для идентификации песни?
Отпечатки пальцев создают компактные, устойчивые к шуму хэши пиков звука, которые сопоставляются с индексированной базой данных.
Какая ежегодная конференция больше всего связана с исследованиями МИР?
ISMIR, конференция Международного общества поиска музыкальной информации, является центральным местом проведения конференции.
В чем ключевое преимущество самоконтролируемых аудиомоделей в современном МИР?
Самостоятельное обучение извлекает общую музыкальную структуру из неразмеченного аудио, что снижает потребность в дорогостоящих наборах данных, размеченных вручную.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме