Adobe запускает инструменты Firefly для искусственного интеллекта в области музыки, речи и звуковых эффектов

Что случилось

Monthly Mixing сообщает, что Adobe официально запустил возможности генерации звука в Firefly. По данным издания, обновление делает функции «Создание музыки», «Создание речи» и «Создание звуковых эффектов» доступными для всех пользователей. В Monthly Mixing говорится, что эти инструменты могут создавать музыку, повествование и звуковые эффекты, соответствующие видео, а Firefly также получает функции раскадровки и фирменного набора, а также поддержку дополнительных типов ввода с помощью Gemini Omni Flash от Google.

Monthly Mixing сообщает, что Adobe официально запустил три инструмента для генерации звука в своей творческой студии искусственного интеллекта Firefly: Generate Music, Generate Speech и Generate Sound Effects. Издание сообщает, что инструменты теперь доступны всем пользователям. Поскольку предоставленный источник представляет собой отчет Monthly Mixing, а не основной документ Adobe, подробности запуска относятся к этому выпуску и не подтверждаются здесь независимо.

По данным Monthly Mixing, Generate Music работает на музыкальной модели Firefly и создает оригинальные треки, адаптированные к длине и настроению видео. Издание сообщает, что музыка поставляется с лицензией, позволяющей бесплатное коммерческое использование. Источник не предоставляет примеры, тесты производительности, технические характеристики, географические ограничения, ограничения на использование или полные условия этой лицензии, поэтому эти детали остаются неизвестными.

В журнале Monthly Mixing говорится, что Generate Speech преобразует сценарии в естественное повествование, используя либо модель речи Firefly, либо ElevenLabs. В отчете не уточняется, какие голоса доступны, могут ли пользователи контролировать произношение, эмоции или время, а также какие гарантии согласия и прав голоса применяются. Он также не устанавливает независимо, доступен ли ElevenLabs всем пользователям и на каких коммерческих условиях.

По данным Monthly Mixing, третий инструмент, о котором сообщается, Generate Sound Effects, создает эффекты, соответствующие движению и времени видео. В источнике не описываются элементы управления редактированием, поддерживаемые форматы видео, максимальная длина клипа или точность синхронизации эффектов системой. Сообщается, что Adobe также добавил Create Storyboard и Create Brand Kit в Firefly AI Assistant, а также бесплатную пробную версию с ограниченным количеством ежедневных генераций.

Далее издание Monthly Mixing сообщает, что Firefly теперь поддерживает Gemini Omni Flash от Google в дополнение к внешним моделям Google, Kling AI, Luma AI, OpenAI и Runway. В сообщении говорится, что Gemini Omni Flash позволяет создавать подсказки с использованием видео, аудио и изображений, а также текста. Источник не предоставляет технического объяснения интеграции, версии модели, условий доступа или доступности перечисленных внешних моделей по идентичным планам Firefly.

Подробности об источнике: mixing.co.kr ↗

Почему это важно

Сообщаемый запуск превращает Firefly из преимущественно визуального творческого сервиса искусственного интеллекта в более широкий производственный инструмент, охватывающий несколько основных задач в области аудио. Если заявленные возможности будут работать так, как описано, создатели видео смогут создавать саундтрек, повествование и эффекты в рамках одного творческого рабочего процесса. Практическая ценность будет зависеть от качества продукции, редакционного контроля, условий прав и ограничений свободного доступа, описанных в Monthly Mixing.

Сообщаемое изменение имеет большое значение, поскольку оно ставит несколько общих задач по созданию аудио вместе с существующим рабочим процессом Firefly в области творческого искусственного интеллекта. Создатель, работающий над видео, может запрашивать музыку, повествование и звуковые эффекты через одну и ту же службу, что потенциально снижает необходимость перехода между отдельными инструментами. Это практическое изменение продукта, хотя источник не уточняет, достаточно ли надежны инструменты для профессиональной работы над выпуском.

Функция Generate Music может быть полезна для авторов, которым нужна дорожка, адаптированная к определенной продолжительности и настроению видео, а функция Generate Speech может помочь превратить письменные сценарии в повествование. Создание звуковых эффектов описывается как реагирование на движение и время видео. Это содержательные заявления о рабочем процессе, но Monthly Mixing не предоставляет независимых тестов, сравнительных результатов или примеров, которые бы показали, насколько хорошо функции работают в сложных случаях, таких как быстрое редактирование, необычный темп или тонкая эмоциональная передача.

Сообщаемая лицензия на коммерческое использование музыки особенно важна для независимых авторов и предприятий, которым необходимо публиковать или монетизировать видео. Однако общее утверждение о том, что свободное коммерческое использование разрешено, не отвечает на вопросы о праве собственности, исключительности, атрибуции, территориальном охвате, рассмотрении претензий или о том, может ли созданный материал напоминать охраняемые произведения. Эти юридические и эксплуатационные условия не указаны в исходном коде и не должны предполагаться.

Добавление Create Storyboard и Create Brand Kit предполагает, что Adobe позиционирует Firefly AI Assistant как более широкую среду планирования и производства, а не просто конечную точку генерации. Это может сделать сервис более полезным для команд, координирующих визуальные и аудиоресурсы. Источник, однако, не сообщает, являются ли эти функции новыми для всех пользователей, как они взаимодействуют с существующими приложениями Adobe или включены ли они в один и тот же уровень доступа.

Поддержка подсказок, содержащих видео, аудио и изображения, также может расширить возможности творческого направления, которое могут предоставить пользователи. Это может быть полезно, когда автор хочет, чтобы созданный результат соответствовал существующему времени или справочному материалу. Тем не менее, в отчете не объясняется, как хранится исходный материал, используется ли он для обучения модели, как обрабатываются входные данные, защищенные авторским правом, или какие средства контроля конфиденциальности доступны.

Что посмотреть дальше

Основные неизвестные — это то, как инструменты работают в реальном производстве, какие ограничения на ежедневную генерацию применяются к бесплатной пробной версии и охватывает ли заявленная лицензия на коммерческое использование Generate Music все соответствующие виды использования и территории. Здесь также независимо не подтверждено, доступна ли каждая функция на каждом рынке или как интегрирован Gemini Omni Flash. В будущих отчетах следует учитывать качество звука, атрибуцию, раскрытие данных обучения, права голоса и ответы авторов.

Первая проблема, на которую следует обратить внимание, — это реальное качество вывода. Monthly Mixing сообщает о возможностях, но не проводит их независимое тестирование. Будущие оценки должны сравнивать созданную музыку, повествование и эффекты с устоявшимися производственными инструментами и искусственными активами, измеряя время, разборчивость, музыкальную последовательность, управляемость и объем редактирования, необходимый перед публикацией.

Доступ и цены также нуждаются в разъяснении. Источник сообщает, что инструменты доступны всем пользователям, и упоминает бесплатную пробную версию с ограниченным количеством ежедневных поколений, но не указывает точные ограничения, требования к платному плану, региональную доступность или различия в ограничениях использования музыки, речи, звуковых эффектов и функций помощника. Эти условия определят, насколько полезен запуск для студентов, независимых авторов и профессиональных команд.

Права и происхождение будут иметь решающее значение. Сообщается, что Adobe предлагает бесплатное коммерческое использование Generate Music, но прилагаемый отчет не включает текст лицензии и не объясняет, как Adobe рассматривает заявления о сходстве, ссылки, защищенные авторским правом, голосовое согласие или право собственности на сгенерированный результат. Пользователям следует искать четкую документацию о разрешенном использовании, установлении авторства, возмещении убытков, учетных данных контента и процедурах разрешения споров.

Функция речи требует особого внимания, поскольку она может создавать повествование из сценариев и, как сообщается, использует либо модель речи Adobe Firefly, либо ElevenLabs. Источник не уточняет, являются ли голоса синтетическими оригиналами, лицензионными исполнениями или авторизованными пользователями копиями. В отчетах должны быть рассмотрены меры защиты от выдачи себя за другое лицо, требования к раскрытию информации и возможность авторов определить систему, использованную для определенного результата.

Наконец, интеграция Gemini Omni Flash поднимает вопросы об обработке данных и границах продукта. В Monthly Mixing говорится, что модель может использовать входные видео, аудио и изображения в подсказках, но не поясняется, остаются ли эти входные данные в пределах Firefly, передаются другому поставщику или получают другую обработку удержания и обучения. Здесь также не подтверждено независимо, что все заявленные интеграции и функции доступны каждому пользователю или на каждом рынке.

Сопутствующие руководства и викторины