Музыкальный автомат
Jukebox — это нейронная сеть OpenAI 2020 года, которая генерирует необработанный музыкальный звук, дополненный голосами, инструментами и даже текстами в стиле конкретных исполнителей.
Обзор
It was a landmark proof that AI could model the actual waveform of song-length music, not just notes.
Глубокое погружение
Выпущенный OpenAI в апреле 2020 года, Jukebox генерирует музыку в виде необработанного звука, а не символических нот, то есть воспроизводит реальный звук, включая вокал. Он был обучен примерно на 1,2 миллиона песен (около половины из которых англоязычные), взятых из Интернета, в сочетании с текстами песен и метаданными из LyricWiki. Вы можете определить его жанр, стиль исполнителя и тексты песен, и он будет петь узнаваемо (хотя и смутно), как этот исполнитель. Выводы длятся несколько минут. Загвоздка в скорости и точности: генерация была чрезвычайно медленной: на рендеринг одной минуты звука уходило около девяти часов, а результаты имели приглушенное, шумное качество. Музыкальный автомат был исследованием, а не отточенным продуктом, но он изменил ожидания относительно того, что было возможно.
Техническая информация
Jukebox сжимает необработанный звук с помощью автоэнкодеров VQ-VAE с тремя временными разрешениями, превращая длинный сигнал в гораздо более короткую последовательность дискретных кодов. Затем авторегрессионные преобразователи прогнозируют эти коды по одному в зависимости от исполнителя, жанра и текста песни, а повышающие дискретизации добавляют высокочастотные детали. Декодирование кодов нижнего уровня обратно в сигнал частотой 44,1 кГц — вот что делает генерацию такой медленной, поскольку миллионы аудиосэмплов должны создаваться последовательно.
Стратегическое воздействие
Доступ и охват
Это улучшает доступность за счет транскрипции, повествования и голосовых интерфейсов.
Стоимость и бюджет
Медиа-команды могут выпускать качественное аудио быстрее с меньшими бюджетами.
Скорость и масштаб
Системы, работающие с клиентами, могут обрабатывать устные взаимодействия в большем масштабе.
Будущее музыкального автомата
Сам по себе музыкальный автомат сейчас во многом является исторической вехой, на смену ему пришли модели с более быстрым распространением и скрытым звуком, такие как Suno и Udio, которые за секунды генерируют песни качества, близкого к компакт-диску. Его основные идеи — дискретные аудиотокены и обусловленность текста — живут в современных системах. Ожидайте, что будущие модели необработанного аудио будут продолжать сокращать время генерации, повышать четкость вокала и добавлять тонкие элементы управления, в то время как вопросы авторского права, которые впервые поднял Jukebox по поводу обучения на записях, защищенных авторским правом, только станут громче.
Реальная реализация
Исследователи изучают, как нейронные сети могут моделировать длинные необработанные аудио и певческие голоса, используя Jukebox в качестве эталонной архитектуры.
Музыканты и любители создают жуткие лоу-файные «каверы на основе искусственного интеллекта», в которых поют новые тексты в грубом стиле выбранного исполнителя.
Преподаватели демонстрируют переход от генерации нот в стиле MIDI к полному синтезу необработанного звука с вокалом.
Звукорежиссеры и художники-экспериментаторы используют туманные, сказочные текстуры Jukebox в качестве сырья для ремиксов и коллажей.
Риски и ограничения
Риски неправильного использования голоса и выдачи себя за другое лицо возрастают при отсутствии согласия.
Точность может снижаться из-за акцентов, диалектов или шумной обстановки.
Синтетический звук можно принять за аутентичную речь без четкой маркировки.
Дорожная карта реализации
Получите явное согласие на захват, клонирование и повторное использование голоса.
Проверьте качество звука при использовании различных динамиков и фоновых условий.
Определите, когда человек должен проверять или утверждать результаты.
Маркируйте синтетический звук и сохраняйте записи о происхождении для обеспечения ответственности.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Jukebox quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Генерация символической музыки
Часто задаваемые вопросы
What is Jukebox?
Jukebox — это нейронная сеть OpenAI 2020 года, которая генерирует необработанный музыкальный звук, дополненный голосами, инструментами и даже текстами в стиле конкретных исполнителей. Это стало знаковым доказательством того, что ИИ может моделировать реальную форму музыкальной волны длиной в песню, а не только ноты.
Что отличает Jukebox от более ранних систем, подобных символическому музыкальному искусственному интеллекту, которые выводят MIDI?
Музыкальный автомат моделирует фактическое звучание музыки как необработанный звук, поэтому он может воспроизводить тембры вокала и инструментов, в отличие от символических систем, которые выводят только данные нот.
Кто выпустил Jukebox и примерно когда?
OpenAI выпустил Jukebox в апреле 2020 года в качестве исследовательской модели создания музыки с вокалом.
В чем заключалось основное практическое ограничение Jukebox?
Поскольку Jukebox декодирует необработанный аудиофайл за семплом, на создание одной минуты музыки ушло порядка девяти часов, что делает его непрактичным для использования в реальном времени.
Какой основной метод использует Jukebox, чтобы сделать длинный необработанный звук управляемым для своих Transformers?
Jukebox использует автоэнкодеры VQ-VAE для сжатия сигнала в дискретные токены, которые Transformers затем моделирует авторегрессионно, прежде чем повышать дискретизацию обратно в аудио.
Чем можно обусловить выход Jukebox?
Музыкальный автомат принимает жанр, исполнителя, которому нужно подражать, и тексты песен, и пытается спеть эти слова в этом стиле.