Аудио РУКОВОДСТВО ПО ИИ

Дифференцируемый синтез звука DDSP

DDSP (дифференцируемая цифровая обработка сигналов) объединяет классические строительные блоки синтезаторов с нейронными сетями, поэтому глубокое обучение может напрямую управлять генераторами и фильтрами.

Прослушайте это руководствоОзвучено ИИ · ~2 min

На этой странице2 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. Будущее дифференцируемого синтеза звука DDSP
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

Он производит поразительно естественные, контролируемые звуки инструментов с использованием крошечных моделей и небольшого количества данных.

Глубокое погружение

DDSP, представленный командой Google Magenta в 2020 году, переосмысливает генерацию нейронного звука. Вместо сети, предсказывающей необработанные аудиосэмплы по одному (как WaveNet) или пиксели спектрограммы, DDSP делает традиционные компоненты DSP — гармонический аддитивный генератор, генератор фильтрованного шума и реверберацию — дифференцируемыми. Это означает, что во время обучения через них могут проходить градиенты, поэтому небольшая нейронная сеть учится выдавать интерпретируемые управляющие сигналы: основной тон, общую громкость и амплитуды десятков гармоник с течением времени. Затем синтезатор воспроизводит фактический звук из этих элементов управления. Поскольку физика звука заложена в архитектуру, а не изучается с нуля, DDSP достигает высокого качества с гораздо меньшим количеством параметров и обучающих примеров и позволяет пользователям независимо манипулировать высотой, громкостью и тембром — даже выполняя передачу тембра, например, заставляя певческий голос играть как скрипку.

Реальная реализация

Инструменты передачи тембра, которые берут напеванную или спетую мелодию и преобразуют ее в звуки скрипки, флейты или трубы в реальном времени.

Легкие плагины нейронного синтезатора, которыми музыканты управляют с помощью интуитивно понятных ручек высоты, громкости и яркости.

Коррекция высоты тона и выразительный ресинтез записанных инструментов с сохранением естественных гармонических деталей.

Интерактивные музыкальные демо на основе браузера, генерирующие реалистичные звуки инструментов без использования тяжелых моделей графических процессоров.

Будущее дифференцируемого синтеза звука DDSP

DDSP продвигает нейронные инструменты и звуковые эффекты, работающие в режиме реального времени, с малой задержкой и звуковые эффекты, которые работают на скромном оборудовании, в том числе в браузере и на встроенных устройствах. Его интерпретируемые элементы управления делают его идеальным для инструментов выразительного исполнения и гибридных синтезаторов, где музыканты напрямую выбирают тембр. Исследователи расширяют идею дифференцируемого DSP на физическое моделирование, акустику помещений и полные цепочки производства звука, сочетая управляемость классической обработки сигналов с реализмом глубокого обучения при создании музыки и звуковом дизайне.

Применение на практике

Почему это важно

  • Доступ и охват. Это улучшает доступность за счет транскрипции, повествования и голосовых интерфейсов.
  • Стоимость и бюджет. Медиа-команды могут выпускать качественное аудио быстрее с меньшими бюджетами.
  • Скорость и масштаб. Системы, работающие с клиентами, могут обрабатывать устные взаимодействия в большем масштабе.

Следите за

  • Риски неправильного использования голоса и выдачи себя за другое лицо возрастают при отсутствии согласия.
  • Точность может снижаться из-за акцентов, диалектов или шумной обстановки.
  • Синтетический звук можно принять за аутентичную речь без четкой маркировки.

Следующие шаги

  1. Получите явное согласие на захват, клонирование и повторное использование голоса.
  2. Проверьте качество звука при использовании различных динамиков и фоновых условий.
  3. Определите, когда человек должен проверять или утверждать результаты.
  4. Маркируйте синтетический звук и сохраняйте записи о происхождении для обеспечения ответственности.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Take the DDSP Differentiable Audio Synthesis quiz

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

Что такое дифференцируемый синтез звука DDSP?

DDSP (дифференцируемая цифровая обработка сигналов) объединяет классические строительные блоки синтезаторов с нейронными сетями, поэтому глубокое обучение может напрямую управлять генераторами и фильтрами. Он производит поразительно естественные, контролируемые звуки инструментов с использованием крошечных моделей и небольшого количества данных.

Какова ключевая инновация, лежащая в основе DDSP?

DDSP превращает традиционные строительные блоки синтезаторов в дифференцируемые модули, позволяя нейронной сети научиться управлять ими посредством обратного распространения ошибки.

Что на самом деле выводит нейронная сеть в DDSP?

Сеть прогнозирует изменяющиеся во времени параметры управления, а отдельный дифференцируемый синтезатор визуализирует на их основе звук — он никогда не выводит сэмплы напрямую.

Какие два основных компонента генерации звука объединяет спектральный синтезатор DDSP?

Генератор гармонических добавок создает тонкую гармоническую часть, в то время как отфильтрованный шум добавляет дыхание и негармоничную текстуру.

Почему DDSP может достичь высокого качества при относительно небольших моделях и небольшом количестве данных?

Поскольку известная структура обработки сигналов встроена, а не изучается с нуля, сети приходится гораздо меньше обучаться, что повышает эффективность данных и параметров.

Какую функцию потерь использует DDSP для надежного сравнения сгенерированного и целевого аудио?

Сравнение спектрограмм амплитуд при нескольких разрешениях устойчиво к разностям фаз, с которыми борются потери на уровне выборки.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →