Оценка шага крепа
CREPE — это модель глубокого обучения, которая оценивает основную частоту (высоту) монофонического аудиосигнала непосредственно на основе его необработанной формы волны.
Обзор
It set a new accuracy standard for pitch tracking, especially on noisy or difficult recordings.
Глубокое погружение
CREPE (сверточное представление для оценки высоты звука), представленное в 2018 году Кимом, Саламоном, Ли и Белло, предсказывает высоту звука однонотного (монофонического) звука, такого как исполняемый голос или сольный инструмент. В отличие от классических алгоритмов, таких как YIN или pYIN, которые полагаются на автокорреляцию сигнала, CREPE представляет собой глубокую сверточную нейронную сеть, обучаемую непосредственно на аудиокадрах во временной области. Он представляет оценку высоты звука как проблему классификации: он выводит распределение вероятностей по 360 интервалам высоты звука, охватывающим примерно шесть октав, каждый с интервалом 20 центов. Бин с самой высокой активацией, уточненный с помощью локального средневзвешенного значения, дает расчетную частоту плюс показатель достоверности. CREPE оказался заметно более надежным, чем методы обработки сигналов, особенно в условиях шума, и теперь является стандартным компонентом во многих конвейерах анализа музыки и речи.
Техническая информация
CREPE берет аудиокадр из 1024 отсчетов и пропускает его через шесть сложенных сверточных слоев, заканчиваясь выходным слоем из 360 единиц с сигмовидными активациями. Каждая единица соответствует ячейке высоты звука, расположенной на расстоянии 20 центов друг от друга примерно в шести октавах. Сеть обучается с помощью двоичной перекрестной энтропии относительно цели с размытием по Гауссу, центрированной на истинном шаге. При выводе прогнозируемая частота представляет собой локальное средневзвешенное значение активаций вокруг пикового интервала, а высота пика служит доверительным значением.
Стратегическое воздействие
Доступ и охват
Это улучшает доступность за счет транскрипции, повествования и голосовых интерфейсов.
Стоимость и бюджет
Медиа-команды могут выпускать качественное аудио быстрее с меньшими бюджетами.
Скорость и масштаб
Системы, работающие с клиентами, могут обрабатывать устные взаимодействия в большем масштабе.
Будущее оценки шага CREPE
Оценка высоты тона движется к совместным моделям, которые поддерживают полифонию (несколько одновременных нот), меньшую задержку для настройки в реальном времени и автогармонию, а также более мелкие дистиллированные сети, которые работают на телефонах и встроенных устройствах. Уверенные результаты CREPE все чаще используются для последующих задач, таких как автоматическая транскрипция, коррекция голоса и экспрессивный анализ исполнения. Подходы с самоконтролем и многозадачностью, которые изучают высоту звука наряду с тембром и артикуляцией, вероятно, расширят точность стиля CREPE за пределы чистого монофонического звука.
Реальная реализация
Отслеживание высоты голоса певца для получения обратной связи по настройке в режиме реального времени в приложениях для тренировки вокала.
Использование инструментов автонастройки и коррекции высоты тона с точными кривыми основных частот.
Транскрипция мелодий сольного инструмента в MIDI или ноты.
Анализ интонации и вибрато в музыкальном образовании и исследованиях исполнительского мастерства.
Риски и ограничения
Риски неправильного использования голоса и выдачи себя за другое лицо возрастают при отсутствии согласия.
Точность может снижаться из-за акцентов, диалектов или шумной обстановки.
Синтетический звук можно принять за аутентичную речь без четкой маркировки.
Дорожная карта реализации
Получите явное согласие на захват, клонирование и повторное использование голоса.
Проверьте качество звука при использовании различных динамиков и фоновых условий.
Определите, когда человек должен проверять или утверждать результаты.
Маркируйте синтетический звук и сохраняйте записи о происхождении для обеспечения ответственности.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the CREPE Pitch Estimation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
TTS с регулируемым шагом FastPitch
Часто задаваемые вопросы
What is CREPE Pitch Estimation?
CREPE — это модель глубокого обучения, которая оценивает основную частоту (высоту) монофонического аудиосигнала непосредственно на основе его необработанной формы волны. Он установил новый стандарт точности отслеживания высоты тона, особенно на шумных или сложных записях.
Что CREPE оценивает по аудиосигналу?
CREPE прогнозирует основную частоту, то есть воспринимаемую высоту монофонического звука.
Для какого типа звука предназначен в первую очередь CREPE?
CREPE оценивает высоту звука для монофонических сигналов, таких как одиночный голос или сольный инструмент.
Как CREPE внутренне формулирует задачу оценки шага?
CREPE выводит распределение вероятностей по 360 интервалам шага, рассматривая оценку как классификацию.
Что CREPE принимает в качестве прямых входных данных?
В отличие от методов, основанных на спектрограммах, CREPE работает с необработанными кадрами сигналов через сверточные слои.
На каком примерно расстоянии друг от друга находятся бункеры для смолы CREPE?
CREPE использует 360 ячеек, расположенных на расстоянии 20 центов друг от друга, что обеспечивает субполутоновое разрешение примерно в шести октавах.