Оцінка кроку КРЕП
CREPE — це модель глибокого навчання, яка оцінює основну частоту (висоту тону) монофонічного аудіосигналу безпосередньо з його вихідної форми.
Огляд
It set a new accuracy standard for pitch tracking, especially on noisy or difficult recordings.
Глибоке занурення
CREPE (Convolutional Representation for Pitch Estimation), запроваджений у 2018 році Кімом, Саламоном, Лі та Белло, передбачає висоту однотонного (монофонічного) аудіо, наприклад співаного голосу чи сольного інструменту. На відміну від класичних алгоритмів, таких як YIN або pYIN, які покладаються на автокореляцію сигналу, CREPE — це глибока згорточна нейронна мережа, яка навчається безпосередньо на звукових кадрах у часовій області. Він розглядає оцінку висоти як проблему класифікації: він виводить розподіл ймовірностей на 360 ящиків висоти, що охоплюють приблизно шість октав, кожна з яких становить 20 центів одна від одної. Бункер із найвищою активацією, уточнений локальним середньозваженим значенням, дає оцінену частоту плюс оцінку достовірності. CREPE виявився значно надійнішим, ніж методи обробки сигналів, особливо в умовах шуму, і зараз є стандартним компонентом у багатьох каналах аналізу музики та мови.
Технічне розуміння
CREPE бере аудіокадр із 1024 вибірок і пропускає його через шість складених згорткових шарів, закінчуючи вихідним шаром із 360 одиниць із сигмоподібними активаціями. Кожна одиниця відповідає висоті тону, розташованій на відстані 20 центів один від одного приблизно через шість октав. Мережа тренується за допомогою двійкової перехресної ентропії проти цілі, розмитої за Гауссом, з центром на справжньому кроку. Під час висновку прогнозована частота є локальним середньозваженим значенням активацій навколо пікового діапазону, а висота піку служить значенням довіри.
Стратегічний вплив
Доступ і охоплення
Це покращує доступність завдяки транскрипції, дикторському тексту та голосовому інтерфейсу.
Вартість і бюджет
Медіа-команди можуть доставляти якісний аудіо швидше за менші бюджети.
Швидкість і масштаб
Системи, орієнтовані на клієнта, можуть обробляти голосову взаємодію у більшому масштабі.
Майбутнє оцінки кроку CREPE
Оцінка висоти рухається до спільних моделей, які обробляють поліфонію (кілька одночасних нот), меншу затримку для налаштування в реальному часі та автоматичної гармонії, а також менші дистильовані мережі, які працюють на телефонах і вбудованих пристроях. Результати впевненості CREPE все частіше застосовуються для наступних завдань, таких як автоматична транскрипція, вокальна корекція та експресивний аналіз виконання. Самоконтрольовані та багатозадачні підходи, які вивчають висоту звуку разом із тембром та артикуляцією, ймовірно, розширять точність стилю CREPE за межі чистого монофонічного звуку.
Реалізація в реальному світі
Відстеження висоти співака для зворотного зв’язку в режимі реального часу в програмах для навчання вокалу
Керування інструментами автонастроювання та корекції висоти тону з точними кривими основної частоти
Транскрибування мелодій сольних інструментів у MIDI або ноти
Аналіз інтонації та вібрато в музичній освіті та виконавських дослідженнях
Ризики та огорожі
Ризик неправильного використання голосу та видавання себе за іншу особу зростає, якщо згоди немає.
Точність може впасти через акценти, діалекти чи шумне середовище.
Синтетичне аудіо можна прийняти за автентичне мовлення без чіткого маркування.
Дорожня карта впровадження
Отримайте чітку згоду на захоплення голосу, клонування та повторне використання.
Перевірте якість на різних динаміках і фонових умовах.
Визначте, коли людина повинна переглядати або затверджувати результати.
Позначайте синтетичне аудіо та зберігайте записи про походження для підзвітності.
Продовжуйте досліджувати
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the CREPE Pitch Estimation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Наступний посібник
FastPitch Pitch-Controlled TTS
Часті запитання
What is CREPE Pitch Estimation?
CREPE — це модель глибокого навчання, яка оцінює основну частоту (висоту тону) монофонічного аудіосигналу безпосередньо з його вихідної форми. Він встановив новий стандарт точності для відстеження висоти тону, особливо на шумних або складних записах.
Що оцінює CREPE за аудіосигналом?
CREPE передбачає основну частоту, тобто висоту звуку, що сприймається, монофонічного звуку.
Для якого типу аудіо в першу чергу призначений CREPE?
CREPE оцінює висоту для монофонічних сигналів, таких як один голос або сольний інструмент.
Як CREPE створює внутрішнє завдання оцінки висоти?
CREPE виводить розподіл ймовірностей на 360 ділянок кроку, розглядаючи оцінку як класифікацію.
Що CREPE приймає як безпосередній внесок?
На відміну від методів на основі спектрограм, CREPE працює з необробленими кадрами сигналу через згорткові шари.
На якій приблизній відстані один від одного знаходяться бункери CREPE?
CREPE використовує 360 бункерів, розташованих на відстані 20 центів один від одного, що забезпечує роздільну здатність до півтону приблизно на шість октав.