Що сталося
Black Forest Labs (BFL) випустила FLUX 3 Action, «світову модель дії» із 7 мільярдами параметрів, розроблену для робототехніки. Модель використовує спостереження камери, стан робота та інструкції природною мовою, щоб генерувати фізичні дії. BFL повідомляє про показник успішності 42,92% у тесті NVIDIA RoboLab-120, перевершуючи попереднього лідера, Cosmos3-Nano-Policy (параметри 16B) NVIDIA, на 6,1 відсоткових пунктів. Випуск містить ваги, код і рецепти тонкого налаштування, що дозволяє розробникам адаптувати модель до конкретних роботів за допомогою фреймворків, таких як LeRobot.
Black Forest Labs, відома своїми моделями зображень і відео FLUX, розширила роботу в робототехніці з випуском FLUX 3 Action. Ця модель із 7 мільярдами параметрів є відкритою «моделлю світової дії» (WAM), яка обробляє вхідні дані камери, стани системи та текстові інструкції для виведення послідовності з 32 фізичних дій разом із прогнозом еволюції візуальної сцени.
За даними VentureBeat, BFL повідомляє, що FLUX 3 Action досягає 42,92% загального показника успішності за тестом NVIDIA RoboLab-120. Цей показник перевищує попередню топову відкриту модель, Cosmos3-Nano-Policy від NVIDIA, на 6,1 відсоткових пунктів. Примітно, що FLUX 3 Action використовує лише 7 мільярдів параметрів порівняно з 16 мільярдами Cosmos, і BFL стверджує, що він працює в 1,43 рази швидше, встановлюючи нові межі Парето для ефективності та продуктивності.
Реліз включає вагові коефіцієнти моделі, код, рецепти тонкого налаштування та відтворювані приклади. BFL заявляє, що команди можуть точно налаштувати модель, використовуючи демонстрації, зібрані з їхніх власних роботів, зокрема згадуючи про сумісність із роботом SO-101 і фреймворком LeRobot Hugging Face. Компанія також продемонструвала можливості моделі в нероботизованих середовищах, включаючи політ безпілотників і гру у відеогру Doom без смертей у грі, хоча це характеризується як ранні експерименти.
BFL вперше опублікував FLUX 3 Action у липні, коли запускав більш широке сімейство FLUX 3, але спочатку він був обмежений для окремих дослідницьких і комерційних партнерів. Поточний випуск знаменує зрушення в бік ширшої доступності, хоча конкретна комерційна ціна API для моделі Action ще не оголошена. Модель базується на дослідженні BFL Self-Flow, метою якого є вивчення корисних представлень руху та причинно-наслідкових зв’язків із відеоданих, не покладаючись на окремі моделі замороженого представлення.
Деталі джерела: venturebeat.com ↗
Чому це важливо
Цей випуск важливий, оскільки він пропонує компактну, відкриту альтернативу більшим пропрієтарним або закритим моделям робототехніки. Досягаючи вищих показників тестування за меншої кількості параметрів (7B проти 16B) і швидшого висновку, BFL знижує бар’єр входу для команд, які хочуть розгорнути розширені роботизовані політики без великих обчислювальних ресурсів. Відкритий характер дозволяє виконувати локальне тонке налаштування та конфіденційність даних, що є критично важливим для промислових застосувань, де закриті дані не можуть залишити об’єкт. Він також перевіряє підхід «Моделі світової дії», де попереднє відеонавчання інформує про фізичний контроль, що потенційно зменшує потребу в зборі обширних даних про робота.
Випуск FLUX 3 Action має важливе значення для індустрії робототехніки, оскільки він пропонує високопродуктивний варіант із відкритою вагою, який кидає виклик більшим і ресурсомістким моделям. Досягаючи чудових результатів тестування за меншої кількості параметрів, BFL демонструє, що ефективність і продуктивність не є взаємовиключними, що є критичним для периферійного розгортання, де обчислювальні ресурси обмежені.
Для розробників відкрита вага моделі є ключовою відмінністю. Це дозволяє командам перевіряти, модифікувати та налаштовувати модель у своїй власній інфраструктурі, забезпечуючи конфіденційність власних демонстрацій роботів та операційних даних. Це значна перевага перед розміщеними службами робототехніки або власними моделями, такими як Gemini Robotics On-Device 2 від Google, які доступні лише вибраним тестувальникам.
Архітектура моделі, яка поєднує попередню підготовку відео з генерацією дій, узгоджується зі зростаючою тенденцією використання генеративних моделей для розуміння фізичної динаміки. Цей підхід може зменшити кількість специфічних для робота даних, необхідних для навчання, оскільки модель може використовувати широкі візуальні та фізичні представлення, отримані з відео. Це може прискорити розробку роботизованих систем для таких завдань, як сортування, складання та навігація.
Однак практичний вплив залежить від остаточних умов ліцензії та здатності сторонніх команд відтворити результати, що повідомляються. Еталонні показники робототехніки часто фрагментовані, а пряме порівняння між різними архітектурами моделей (WAM, VLA та моделі міркування дій) є складним. Успіх FLUX 3 Action в кінцевому підсумку визначатиметься його продуктивністю в реальному світі, різноманітних роботизованих середовищах, а не лише тестами симуляції.
Інтерактивний механізм: як він насправді працює
Дослідіть технологію, що лежить в основі цієї розробки, в інтерактивному режимі.
In AI, what are a model's "parameters"?
Що дивитися далі
Розробникам слід стежити за доступністю остаточних умов комерційної ліцензії, оскільки поточний випуск призначений переважно для досліджень і партнерського доступу. Незалежне відтворення результатів еталонного тестування на різному апаратному забезпеченні має вирішальне значення, оскільки еталонним тестам робототехніки часто бракує стандартизації. Крім того, слідкуйте за інтеграцією FLUX 3 Action у ширші комерційні API або за тим, чи BFL розширить свою стратегію відкритого ядра, щоб включити більше кінцевих точок, специфічних для робототехніки.
Найнегайнішим фактором, на який варто звернути увагу, є публікація остаточних умов комерційної ліцензії для FLUX 3 Action. Хоча BFL опублікував ваги та код, конкретні умови комерційного використання, розповсюдження та модифікації ще не повністю деталізовані. Це визначить, наскільки широко модель може бути прийнята в промислових умовах.
Незалежна перевірка результатів порівняльного аналізу має вирішальне значення. Повідомлення BFL про 42,92% успіху RoboLab-120 базується на їхньому власному тестуванні, і публічна таблиця лідерів NVIDIA не була оновлена цими результатами на момент звіту. Відтворення сторонніми дослідницькими групами буде необхідне для підтвердження ефективності моделі та її узагальненості.
Розробники також повинні стежити за інтеграцією FLUX 3 Action в існуючі фреймворки та апаратне забезпечення робототехніки. BFL підкреслив сумісність з роботом SO-101 і LeRobot, але продуктивність моделі на інших поширених платформах роботів, таких як NVIDIA або Ai2, ще належить побачити. Легкість тонкого налаштування на різноманітному апаратному забезпеченні буде ключовим чинником його прийняття.
Нарешті, конкурентний ландшафт у робототехніці відкритої ваги швидко розвивається. Оскільки вже доступні такі моделі, як MolmoAct 2 від Ai2 і GR00T N1.7 від NVIDIA, успіх FLUX 3 Action залежатиме від його здатності пропонувати явні переваги щодо продуктивності, ефективності та простоти використання. Наступні кілька місяців, імовірно, побачать більше порівнянь і тестів, оскільки спільнота тестуватиме модель у різних програмах.