Что случилось
OpenArt, стартап по творческим инструментам искусственного интеллекта из Сан-Франциско, запустил OpenArt Arena, общедоступную платформу для сравнительного анализа, призванную помочь пользователям выбрать лучшую модель искусственного интеллекта для конкретных мультимедийных задач, а не полагаться на единый общий балл. Платформа разделяет рейтинги моделей на доски вариантов использования для таких задач, как кинопроизводство, электронная коммерция, графический дизайн, анимационный дизайн, редактирование видео и синхронизация губ. Он использует слепую парную оценку группы творческих практиков и «законодателей вкуса», агрегируя предпочтения с использованием статистической модели Брэдли-Терри. Первоначальные результаты показывают, что Seedance 2.5 от ByteDance лидирует среди видеоплат, а Wan 3.0 от Alibaba занимает первое место в редактировании видео. Что касается создания изображений, то GPT Image 2 от OpenAI лидирует в графическом дизайне и редактировании, а Seedream 5.0 Pro от Alibaba лидирует в общем рейтинге изображений. Компания планирует опубликовать часть своей методологии и наборов подсказок, сохраняя при этом подсказки активной оценки в тайне, чтобы предотвратить настройку модели.
OpenArt, соучредители которой бывшие сотрудники Google Коко Мао и Джон Цяой, запустили OpenArt Arena, чтобы ответить на вопрос, какая модель искусственного интеллекта лучше всего подходит для конкретных задач в СМИ. Платформа имеет отдельные таблицы лидеров для создания изображений и видео, классифицированные по сценариям использования, таким как кинопроизводство, электронная коммерция, графический дизайн, анимационный дизайн, редактирование видео и синхронизация губ.
Процесс сравнительного анализа включает в себя получение результатов из тщательно подобранных наборов подсказок для каждой доски и представление их оценщикам без маркировки моделей. Судьи делают параллельный выбор, а OpenArt объединяет эти предпочтения, используя статистическую модель Брэдли-Терри. В состав жюри входит Креативный экспертный совет, в состав которого входят названные практики, а также более крупная группа из примерно 800–1000 «законодателей вкуса», набранных из пользователей и творческих сообществ.
В первоначальном рейтинге видео собственная разработка Seedance 2.5 от ByteDance лидирует с результатом 1081, за ней следуют Wan 3.0 от Alibaba с 1004 и Seedance 2.0 от ByteDance с 1000. Seedance 2.5 также занимает первое место в области кино, анимационного дизайна и синхронизации губ, а Wan 3.0 с небольшим отрывом лидирует в редактировании видео с результатом 1034 по сравнению с 1033 у Seedance 2.5.
Для генерации изображений результаты более фрагментированы. GPT Image 2 от OpenAI занимает первое место в графическом дизайне и редактировании изображений, а Seedream 5.0 Pro от Alibaba лидирует в области кинематографических изображений и электронной коммерции. Seedream 5.0 Pro также возглавляет общий рейтинг изображений с результатом 1010, немного опережая GPT Image 2. Примечательно, что Wan 3.0 от Alibaba — единственный выдающийся участник тройки лидеров, описанный как открытый исходный код, хотя его текущий публичный выпуск еще не включает веса загружаемых моделей для самостоятельного хостинга.
OpenArt заявила, что опубликует часть своей методологии и набора подсказок при запуске, но сохранит некоторые активные подсказки для оценки в тайне, чтобы снизить риск настройки моделей на эталонный тест. Компания стремится к тому, чтобы Arena стала признанным отраслевым стандартом выбора моделей искусственного интеллекта для творческой работы.
Подробности об источнике: venturebeat.com ↗
Почему это важно
Этот запуск решает критическую проблему для предприятий и творческих команд: сложность выбора оптимальной модели ИИ на быстро расширяющемся и фрагментированном рынке. Сегментируя производительность по конкретным должностным функциям, OpenArt Arena предоставляет более действенные рекомендации, чем общие таблицы лидеров, которые могут скрывать сильные стороны модели в нишевых областях. Это особенно актуально для предприятий, внедряющих генеративный искусственный интеллект, где выбор модели часто является первым серьезным препятствием. Тест также подчеркивает компромисс между проприетарными моделями на основе API и вариантами с открытым исходным кодом, влияя на решения о местонахождении данных, стоимости и управлении развертыванием. Хотя существуют аналогичные критерии, ориентация OpenArt на детальные, ориентированные на конкретные задачи творческие рабочие процессы предлагает отличное ценностное предложение для профессионального творческого производства.
Запуск OpenArt Arena обеспечивает более детальный подход к оценке творческих моделей ИИ, фокусируясь на конкретных функциях работы, а не на едином общем балле. Это важно для предприятий и творческих коллективов, которым необходимо перенаправить конкретные производственные задачи на наиболее эффективную модель, поскольку модель, сильная в одной области, может быть не лучшей в другой.
Этот тест подчеркивает практические последствия выбора модели, включая компромисс между проприетарными моделями на основе API и вариантами с открытым исходным кодом. Например, хотя Seedance 2.5 от ByteDance лидирует по производительности видео, это запатентованная модель, тогда как Wan 3.0 от Alibaba имеет открытый исходный код, но не имеет загружаемых весов для самостоятельного хостинга. Это различие влияет на контроль развертывания, размещение данных и общую стоимость владения для предприятий.
OpenArt Arena решает общую проблему для компаний, внедряющих генеративный искусственный интеллект: сложность выбора правильной модели на быстро расширяющемся рынке. Предоставляя рейтинги для конкретных задач, платформа предлагает практические рекомендации, которые могут помочь творческим командам принимать обоснованные решения и потенциально повысить эффективность и качество своих производственных рабочих процессов с помощью искусственного интеллекта.
Этот тест также способствует более широкому разговору о стандартизации оценки ИИ. В то время как другие платформы, такие как Contra Labs и Artificial Analysis, предлагают аналогичные рейтинги для конкретных задач, ориентация OpenArt на детальные творческие рабочие процессы и ее интеграция с коммерческой творческой платформой может дать ей конкурентное преимущество и стать широко признанным отраслевым стандартом.
Интерактивный механизм: как он на самом деле работает
Изучите технологию, лежащую в основе этой разработки, в интерактивном режиме.
Which component of an AI application is the machine-learning model itself?
Что посмотреть дальше
Следите за тем, как меняются рейтинги OpenArt Arena по мере выпуска новых моделей и становится ли платформа де-факто отраслевым стандартом для творческих закупок ИИ. Следите за публикацией полной методологии и наборов подсказок, которые позволят провести независимую проверку результатов. Кроме того, посмотрите, как конкурирующие тесты, такие как Human Creativity от Contra Labs и Image Arena от Artificial Analysis, реагируют на запуск OpenArt, что потенциально может привести к более стандартизированному подходу к оценке творческих возможностей ИИ.
Публикация полной методологии и наборов подсказок OpenArt будет иметь решающее значение для независимой проверки результатов теста. Прозрачность процесса оценки поможет укрепить доверие среди пользователей и гарантировать, что рейтинги точно отражают эффективность модели.
Эволюция рейтингов OpenArt Arena по мере выпуска новых моделей станет важным показателем актуальности и точности платформы. Мониторинг того, как рейтинги меняются с течением времени, позволит получить представление о быстром развитии творческих моделей искусственного интеллекта и эффективности эталонного теста при учете этих изменений.
Реакция конкурирующих тестов, таких как Human Creativity от Contra Labs и Image Arena от Artificial Analysis, будет значительной. Эти платформы могут скорректировать свои методологии или запустить новые функции в ответ на запуск OpenArt, что потенциально приведет к более стандартизированному и комплексному подходу к оценке творческих возможностей ИИ.
Принятие OpenArt Arena предприятиями и творческими профессионалами станет ключевым показателем ее успеха. Если платформа станет широко используемым инструментом для выбора моделей, это может повлиять на разработку творческих моделей ИИ и стратегии поставщиков ИИ, стремящихся оптимизировать свою производительность на эталонных тестах.