Что случилось
Black Forest Labs (BFL) выпустила FLUX 3 Action, открытую «модель действий мира» с 7 миллиардами параметров, предназначенную для робототехники. Модель использует наблюдения камеры, состояние робота и инструкции на естественном языке для генерации физических действий. BFL сообщает о показателе успеха 42,92% в тесте RoboLab-120 от NVIDIA, превосходя предыдущего лидера, Cosmos3-Nano-Policy от NVIDIA (параметры 16B), на 6,1 процентных пункта. Релиз включает в себя веса, код и рецепты тонкой настройки, позволяющие разработчикам адаптировать модель к конкретным роботам с помощью таких платформ, как LeRobot.
Компания Black Forest Labs, известная своими моделями изображений и видео FLUX, с выпуском FLUX 3 Action расширила свою деятельность в сфере робототехники. Эта модель с 7 миллиардами параметров представляет собой открытую «Модель действий мира» (WAM), которая обрабатывает входные данные камеры, состояния системы и текстовые инструкции для вывода последовательности из 32 физических действий вместе с прогнозом развития визуальной сцены.
По данным VentureBeat, BFL сообщает, что FLUX 3 Action достигает общего успеха в 42,92% в тесте NVIDIA RoboLab-120. Этот показатель превышает предыдущую топ-открытую модель Cosmos3-Nano-Policy от NVIDIA на 6,1 процентных пункта. Примечательно, что FLUX 3 Action использует только 7 миллиардов параметров по сравнению с 16 миллиардами в Cosmos, а BFL утверждает, что он работает в 1,43 раза быстрее, устанавливая новый предел Парето для эффективности и производительности.
Релиз включает в себя веса моделей, код, рецепты тонкой настройки и воспроизводимые примеры. BFL заявляет, что команды могут точно настроить модель, используя демонстрации, собранные с их собственных роботов, в частности упоминая совместимость с роботом SO-101 и платформой LeRobot Hugging Face. Компания также продемонстрировала возможности модели в нероботизированной среде, включая управление дронами и игру в видеоигру Doom без смертельных случаев в игре, хотя это ранние эксперименты.
BFL впервые представила FLUX 3 Action в июле, когда запускала более широкое семейство FLUX 3, но изначально оно было доступно только избранным исследовательским и коммерческим партнерам. Текущий выпуск знаменует собой сдвиг в сторону более широкой доступности, хотя конкретные цены на коммерческие API для модели Action еще не объявлены. Модель основана на исследовании Self-Flow компании BFL, целью которого является изучение полезных представлений движения и причинно-следственных связей на основе видеоданных, не полагаясь на отдельные модели замороженного представления.
Подробности об источнике: venturebeat.com ↗
Почему это важно
Этот выпуск важен, поскольку он представляет собой компактную альтернативу с открытым весом более крупным проприетарным или закрытым моделям робототехники. Достигая более высоких результатов тестов с меньшим количеством параметров (7B против 16B) и более быстрого вывода, BFL снижает входной барьер для команд, желающих развернуть передовые роботизированные политики без огромных вычислительных ресурсов. Открытый характер обеспечивает локальную точную настройку и конфиденциальность данных, что имеет решающее значение для промышленных приложений, где частные данные не могут покинуть объект. Это также подтверждает подход «Мировой модели действий», в котором предварительное видеообучение дает информацию о физическом управлении, что потенциально снижает потребность в обширном сборе данных, специфичных для роботов.
Выпуск FLUX 3 Action имеет важное значение для индустрии робототехники, поскольку он предлагает высокопроизводительный вариант с открытым весом, который бросает вызов более крупным и ресурсоемким моделям. Достигая превосходных результатов тестов с меньшим количеством параметров, BFL демонстрирует, что эффективность и производительность не являются взаимоисключающими, что имеет решающее значение для развертывания на периферии, где вычислительные ресурсы ограничены.
Для разработчиков ключевой отличительной чертой является свободный вес модели. Это позволяет командам проверять, модифицировать и точно настраивать модель в рамках своей собственной инфраструктуры, гарантируя, что проприетарные демонстрации роботов и эксплуатационные данные останутся конфиденциальными. Это значительное преимущество перед размещенными службами робототехники или проприетарными моделями, такими как Google Robotics On-Device 2 от Google, которые доступны только избранным тестировщикам.
Архитектура модели, которая сочетает в себе предварительное обучение видео с генерацией действий, соответствует растущей тенденции использования генеративных моделей для понимания физической динамики. Этот подход может уменьшить объем данных, специфичных для робота, необходимых для обучения, поскольку модель может использовать широкие визуальные и физические представления, полученные из видео. Это может ускорить разработку роботизированных систем для таких задач, как сортировка, сборка и навигация.
Однако практическое воздействие зависит от окончательных условий лицензии и способности сторонних команд воспроизвести полученные результаты. Тесты робототехники часто фрагментированы, и прямое сравнение различных архитектур моделей (WAM, VLA и модели обоснования действий) затруднено. Успех FLUX 3 Action в конечном итоге будет определяться его производительностью в реальных, разнообразных роботизированных средах, а не только в тестах моделирования.
Интерактивный механизм: как он на самом деле работает
Изучите технологию, лежащую в основе этой разработки, в интерактивном режиме.
In AI, what are a model's "parameters"?
Что посмотреть дальше
Разработчикам следует следить за доступностью окончательных условий коммерческой лицензии, поскольку текущая версия предназначена в первую очередь для исследований и доступа партнеров. Независимое воспроизведение результатов тестов на различном оборудовании имеет решающее значение, поскольку тесты робототехники часто не стандартизированы. Кроме того, следите за интеграцией FLUX 3 Action в более широкие коммерческие API или за тем, расширит ли BFL свою стратегию открытого ядра, включив в нее больше конечных точек, специфичных для робототехники.
Самым непосредственным фактором, на который следует обратить внимание, является публикация окончательных условий коммерческой лицензии на FLUX 3 Action. Хотя BFL опубликовала веса и код, конкретные условия коммерческого использования, распространения и модификации еще не полностью детализированы. Это определит, насколько широко модель может быть принята в промышленных условиях.
Независимая проверка результатов тестов имеет решающее значение. Сообщенный BFL показатель успеха RoboLab-120 в 42,92% основан на их собственном тестировании, а публичная таблица лидеров NVIDIA не была обновлена этими результатами на момент публикации отчета. Воспроизведение сторонними исследовательскими группами будет необходимо для подтверждения эффективности модели и ее обобщаемости.
Разработчикам также следует следить за интеграцией FLUX 3 Action в существующие платформы и оборудование робототехники. BFL подчеркнула совместимость с роботом SO-101 и LeRobot, но эффективность модели на других распространенных робототехнических платформах, таких как NVIDIA или Ai2, еще предстоит выяснить. Простота тонкой настройки различного оборудования будет ключевым фактором, определяющим его внедрение.
Наконец, конкурентная среда в сфере робототехники с открытым весом быстро развивается. Поскольку такие модели, как MolmoAct 2 от Ai2 и GR00T N1.7 от NVIDIA, уже доступны, успех FLUX 3 Action будет зависеть от его способности предлагать явные преимущества с точки зрения производительности, эффективности и простоты использования. В ближайшие несколько месяцев, вероятно, будет больше сравнений и тестов, поскольку сообщество тестирует модель в различных приложениях.