ДалееСледующее руководство
AudioGen Синтез текста в аудио
Аудио ИИ
Аудио РУКОВОДСТВО ПО ИИ
DDSP (дифференцируемая цифровая обработка сигналов) объединяет классические строительные блоки синтезаторов с нейронными сетями, поэтому глубокое обучение может напрямую управлять генераторами и фильтрами.
Прослушайте это руководствоОзвучено ИИ · ~2 min
Он производит поразительно естественные, контролируемые звуки инструментов с использованием крошечных моделей и небольшого количества данных.
DDSP, представленный командой Google Magenta в 2020 году, переосмысливает генерацию нейронного звука. Вместо сети, предсказывающей необработанные аудиосэмплы по одному (как WaveNet) или пиксели спектрограммы, DDSP делает традиционные компоненты DSP — гармонический аддитивный генератор, генератор фильтрованного шума и реверберацию — дифференцируемыми. Это означает, что во время обучения через них могут проходить градиенты, поэтому небольшая нейронная сеть учится выдавать интерпретируемые управляющие сигналы: основной тон, общую громкость и амплитуды десятков гармоник с течением времени. Затем синтезатор воспроизводит фактический звук из этих элементов управления. Поскольку физика звука заложена в архитектуру, а не изучается с нуля, DDSP достигает высокого качества с гораздо меньшим количеством параметров и обучающих примеров и позволяет пользователям независимо манипулировать высотой, громкостью и тембром — даже выполняя передачу тембра, например, заставляя певческий голос играть как скрипку.
Инструменты передачи тембра, которые берут напеванную или спетую мелодию и преобразуют ее в звуки скрипки, флейты или трубы в реальном времени.
Легкие плагины нейронного синтезатора, которыми музыканты управляют с помощью интуитивно понятных ручек высоты, громкости и яркости.
Коррекция высоты тона и выразительный ресинтез записанных инструментов с сохранением естественных гармонических деталей.
Интерактивные музыкальные демо на основе браузера, генерирующие реалистичные звуки инструментов без использования тяжелых моделей графических процессоров.
DDSP продвигает нейронные инструменты и звуковые эффекты, работающие в режиме реального времени, с малой задержкой и звуковые эффекты, которые работают на скромном оборудовании, в том числе в браузере и на встроенных устройствах. Его интерпретируемые элементы управления делают его идеальным для инструментов выразительного исполнения и гибридных синтезаторов, где музыканты напрямую выбирают тембр. Исследователи расширяют идею дифференцируемого DSP на физическое моделирование, акустику помещений и полные цепочки производства звука, сочетая управляемость классической обработки сигналов с реализмом глубокого обучения при создании музыки и звуковом дизайне.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
DDSP (дифференцируемая цифровая обработка сигналов) объединяет классические строительные блоки синтезаторов с нейронными сетями, поэтому глубокое обучение может напрямую управлять генераторами и фильтрами. Он производит поразительно естественные, контролируемые звуки инструментов с использованием крошечных моделей и небольшого количества данных.
DDSP превращает традиционные строительные блоки синтезаторов в дифференцируемые модули, позволяя нейронной сети научиться управлять ими посредством обратного распространения ошибки.
Сеть прогнозирует изменяющиеся во времени параметры управления, а отдельный дифференцируемый синтезатор визуализирует на их основе звук — он никогда не выводит сэмплы напрямую.
Генератор гармонических добавок создает тонкую гармоническую часть, в то время как отфильтрованный шум добавляет дыхание и негармоничную текстуру.
Поскольку известная структура обработки сигналов встроена, а не изучается с нуля, сети приходится гораздо меньше обучаться, что повышает эффективность данных и параметров.
Сравнение спектрограмм амплитуд при нескольких разрешениях устойчиво к разностям фаз, с которыми борются потери на уровне выборки.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
AudioGen Синтез текста в аудио
Аудио ИИ