ДаліНаступний посібник
Символічне музичне покоління
Аудіо AI
Аудіо AI GUIDE
Автоматична транскрипція музики
Автоматична музична транскрипція (AMT) перетворює необроблений аудіозапис музики на символічну нотацію, як-от ноти, MIDI або піаніно.
Послухайте цей посібникШІ-розказаний · ~2 min
На цій сторінці2 хвилини читання
Огляд
Він вирішує одну з найскладніших проблем штучного інтелекту з аудіо: розплутує багато нот, що накладаються один на одного, відтворених одночасно.
Глибоке занурення
Системи AMT прослуховують аудіосигнал і виводять, які ноти граються, коли вони починаються, як довго вони тривають, а іноді і на якому інструменті їх грає. Основною проблемою є поліфонія: коли кілька нот звучать одночасно, їхні гармоніки накладаються та розмиваються разом у частотному спектрі, тому окрему до та соль важко відокремити від однієї голоснішої ноти. Сучасні системи перетворюють аудіо в частотно-часове представлення, наприклад мел-спектрограму або Constant-Q Transform, а потім використовують глибокі нейронні мережі для прогнозування початку нот, зсувів і висоти. Модель Onsets and Frames від Google була орієнтиром для транскрипції фортепіано, тоді як нові трансформерні моделі, такі як MT3, транскрибують декілька інструментів одночасно.
Реалізація в реальному світі
AnthemScore та подібні програми перетворюють MP3-записи на редаговані ноти для музикантів, які вивчають пісні на слух
Вилучення MIDI із запису піаніно, щоб продюсер міг повторно озвучити або квантувати виконання в DAW
Інструменти музичної освіти, які порівнюють ноти, зіграні учнем, із партитурою, щоб позначити неправильні або пропущені ноти
Музикознавці транскрибують історичні чи імпровізовані записи (наприклад, джазові соло) у нотний запис для аналізу
Майбутнє автоматичної транскрипції музики
AMT переходить від сольного фортепіано до надійної мультиінструментальної та повносмугової транскрипції, включаючи ударні, вокал і експресивні техніки, такі як бенди та вібрато. Архітектури трансформаторів, навчені на великих синтетичних і вирівняних наборах даних, усувають розрив. Очікуйте тіснішої інтеграції з розділенням джерел, транскрипцією в реальному часі для живого виступу та інструментами, які фіксують мікрочас і динаміку, а не лише нотатки. Довгостроковою метою є система, яка перетворює будь-який запис на партитуру, яку можна редагувати та читати людині.
Застосування на практиці
Чому це важливо
- Доступ і охоплення. Це покращує доступність завдяки транскрипції, дикторському тексту та голосовому інтерфейсу.
- Вартість і бюджет. Медіа-команди можуть доставляти якісний аудіо швидше за менші бюджети.
- Швидкість і масштаб. Системи, орієнтовані на клієнта, можуть обробляти голосову взаємодію у більшому масштабі.
Зверніть увагу на
- Ризик неправильного використання голосу та видавання себе за іншу особу зростає, якщо згоди немає.
- Точність може впасти через акценти, діалекти чи шумне середовище.
- Синтетичне аудіо можна прийняти за автентичне мовлення без чіткого маркування.
Наступні кроки
- Отримайте чітку згоду на захоплення голосу, клонування та повторне використання.
- Перевірте якість на різних динаміках і фонових умовах.
- Визначте, коли людина повинна переглядати або затверджувати результати.
- Позначайте синтетичне аудіо та зберігайте записи про походження для підзвітності.
Продовжуйте досліджувати
Безплатний розсилок
Отримуйте щоденне зведення новин про ШІ
Три перевірені історії про ШІ щоробочого ранку, написані простою мовою. Безплатно назавжди, без реклами.
Один лист щотижня з понеділка по п'ятницю. Відписатися в один клік. Ми ніколи не продаємо та не передаємо вашу адресу.
Перевір себе
Take the Automatic Music Transcription quiz
Миттєва зворотна связь на кожну відповідь та сертифікат із перевіреним ідентифікатором, яким можна поділитися, після проходження курсу.
Підтримайте безплатну освіту у сфері ШІ. AI Understanding — це некомерційна організація 501(c)(3) — без реклами, без платних стін, назавжди. Зробіть пожертву
Часті запитання
Що таке автоматична транскрипція музики?
Автоматична музична транскрипція (AMT) перетворює необроблений аудіозапис музики на символічну нотацію, як-от ноти, MIDI або піаніно. Він вирішує одну з найскладніших проблем штучного інтелекту з аудіо: розплутує багато нот, що накладаються один на одного, відтворених одночасно.
Що в основному виводить автоматична транскрипція музики?
AMT перетворює аудіозапис у символічну нотацію, наприклад MIDI, піаніно або ноти, що описують відтворені ноти.
Чому поліфонічну музику особливо важко транскрибувати?
Коли кілька нот звучать одночасно, їх гармоніки накладаються, що ускладнює відокремлення окремих тонів.
Що було примітним у моделі «Початки та фрейми» Google?
У режимах Onsets and Frames використовувалася одна головка для визначення точних початків нот, а інша – для стійких висот, причому початки стробували вихід кадру.
Чому Constant-Q Transform корисне для музики?
Музичні висоти розподіляються логарифмічно (частота октав подвоюється), і логарифмічно розташовані відсіки CQT природно вирівнюються з цим.
Що означає «початок» у транскрипції?
Початок — це різкий, енергійний момент, коли починається нота, яку легше точно локалізувати, ніж її сутінок.
Продовжуйте вчитися
Пов'язані посібники
Інші посібники, вибрані для цієї теми