МузыкаГен
MusicGen — это модель искусственного интеллекта Meta, которая генерирует музыку из текстового описания и, при необходимости, мелодии, которую вы напеваете или загружаете.
Обзор
It matters because it puts high-quality, controllable music creation into a single, openly released model that hobbyists and researchers can actually run.
Глубокое погружение
MusicGen, выпущенный Meta AI в 2023 году в рамках проекта AudioCraft, превращает такие подсказки, как «оптимистичный синти-поп-трек 80-х с драйвовой басовой партией», в примерно 12-секундные (расширяемые) музыкальные клипы. В отличие от многоступенчатых систем, MusicGen использует единую языковую модель Transformer, которая прогнозирует аудиотокены, создаваемые нейронным кодеком EnCodec Meta. Его умным вкладом является шаблон чередования токенов (называемый чередованием задержки), который позволяет одной модели эффективно обрабатывать несколько параллельных потоков токенов EnCodec, избегая каскада отдельных моделей, которые требовались ранее. MusicGen можно управлять двумя способами одновременно: с помощью текстового описания и справочной мелодии, так что вы можете запросить «джазовую версию» напеваемой вами мелодии. Meta открыто опубликовал код и веса, что вызвало волну инструментов и экспериментов сообщества.
Техническая информация
MusicGen представляет звук как параллельные потоки дискретных токенов из кодека EnCodec, причем каждый поток фиксирует различные детали. Вместо моделирования потоков с помощью отдельных моделей MusicGen чередует их с контролируемыми задержками, поэтому один авторегрессионный преобразователь прогнозирует их за один проход. Кондиционирование текста осуществляется с помощью текстового кодировщика T5, а дополнительная обработка мелодии использует хромаграмму (профиль высоты тона звука), поэтому модель следует мелодии, не копируя ее точную запись.
Стратегическое воздействие
Доступ и охват
Это улучшает доступность за счет транскрипции, повествования и голосовых интерфейсов.
Стоимость и бюджет
Медиа-команды могут выпускать качественное аудио быстрее с меньшими бюджетами.
Скорость и масштаб
Системы, работающие с клиентами, могут обрабатывать устные взаимодействия в большем масштабе.
Будущее MusicGen
Открытый релиз MusicGen установил базовый уровень, который преемники стремятся превзойти благодаря более длинному, более высокому качеству и стереовыходу, а также более точному контролю над структурой, инструментами и разделами песен. Ожидайте более тесной интеграции с программным обеспечением для создания музыки, интерактивной генерации в реальном времени и лучших инструментов для редактирования или расширения существующих треков. Как и в случае со всей генеративной музыкой, это обостряет вопросы об авторских правах на обучающие данные, вознаграждении исполнителей и о том, как маркировать песни, созданные искусственным интеллектом, на переполненном рынке.
Реальная реализация
Создание бесплатной фоновой музыки для видео YouTube из текстовой подсказки
Напевать мелодию и попросить MusicGen сделать ее полную оркестровую аранжировку.
Разработчики игр быстро создают прототипы саундтреков уровней в разных жанрах
Исследователи и любители используют весы с открытым исходным кодом для экспериментов с преобразованием текста в музыку.
Риски и ограничения
Риски неправильного использования голоса и выдачи себя за другое лицо возрастают при отсутствии согласия.
Точность может снижаться из-за акцентов, диалектов или шумной обстановки.
Синтетический звук можно принять за аутентичную речь без четкой маркировки.
Дорожная карта реализации
Получите явное согласие на захват, клонирование и повторное использование голоса.
Проверьте качество звука при использовании различных динамиков и фоновых условий.
Определите, когда человек должен проверять или утверждать результаты.
Маркируйте синтетический звук и сохраняйте записи о происхождении для обеспечения ответственности.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the MusicGen quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Принудительное выравнивание
Часто задаваемые вопросы
What is MusicGen?
MusicGen — это модель искусственного интеллекта Meta, которая генерирует музыку из текстового описания и, при необходимости, мелодии, которую вы напеваете или загружаете. Это важно, потому что оно объединяет высококачественное, контролируемое создание музыки в единую, открыто распространяемую модель, которую действительно могут использовать любители и исследователи.
Какие два типа входных данных могут одновременно управлять MusicGen?
MusicGen принимает текстовую подсказку и, при необходимости, мелодию, поэтому вы можете запросить стилистическую версию предоставленной вами мелодии.
Какой нейронный кодек создает аудиотокены, прогнозируемые MusicGen?
MusicGen моделирует дискретные токены, генерируемые кодеком EnCodec Meta, который также декодирует предсказанные токены обратно в аудио.
В чем заключается ключевое архитектурное упрощение MusicGen по сравнению с предыдущими подходами?
Перемежая параллельные потоки токенов EnCodec с контролируемыми задержками, один авторегрессионный преобразователь может моделировать их за один проход, избегая каскада моделей.
Как MusicGen следует предоставленной мелодии, не копируя точную запись?
Хромаграмма фиксирует, какие классы высоты звука присутствуют с течением времени, позволяя MusicGen сопоставлять гармонию и контур мелодии, не воспроизводя исходный тембр.
Какой проект и компания выпустили MusicGen?
MusicGen был выпущен в 2023 году как часть проекта Meta AI AudioCraft с открытым кодом и весами моделей.