Que s'est-il passé
Black Forest Labs (BFL) a publié FLUX 3 Action, un « modèle d'action mondial » à poids ouvert de 7 milliards de paramètres conçu pour la robotique. Le modèle prend des observations de caméra, l'état du robot et des instructions en langage naturel pour générer des actions physiques. BFL rapporte un taux de réussite de 42,92 % sur le benchmark RoboLab-120 de NVIDIA, dépassant de 6,1 points de pourcentage le leader précédent, Cosmos3-Nano-Policy de NVIDIA (paramètres 16B). La version comprend des poids, du code et des recettes de réglage fin, permettant aux développeurs d'adapter le modèle à des robots spécifiques à l'aide de frameworks comme LeRobot.
Black Forest Labs, connu pour ses modèles d'images et de vidéos FLUX, s'est étendu à la robotique avec la sortie de FLUX 3 Action. Ce modèle de 7 milliards de paramètres est un « modèle d'action mondial » (WAM) ouvert qui traite les entrées de la caméra, les états du système et les instructions textuelles pour produire une séquence de 32 actions physiques ainsi qu'une prédiction de l'évolution de la scène visuelle.
Selon VentureBeat, BFL rapporte que FLUX 3 Action atteint un taux de réussite global de 42,92 % sur le benchmark RoboLab-120 de NVIDIA. Ce score dépasse de 6,1 points de pourcentage le modèle ouvert précédent, Cosmos3-Nano-Policy de NVIDIA. Notamment, FLUX 3 Action n'utilise que 7 milliards de paramètres, contre 16 milliards pour Cosmos, et BFL affirme qu'il fonctionne 1,43 fois plus vite, établissant ainsi une nouvelle frontière de Pareto en matière d'efficacité et de performances.
La version comprend les poids du modèle, le code, les recettes de réglage fin et les exemples reproductibles. BFL indique que les équipes peuvent affiner le modèle à l’aide de démonstrations collectées à partir de leurs propres robots, mentionnant spécifiquement la compatibilité avec le robot SO-101 et le framework LeRobot de Hugging Face. La société a également démontré les capacités du modèle dans des environnements non robotiques, notamment le vol de drones et le jeu vidéo Doom sans décès dans le jeu, bien que ceux-ci soient qualifiés de premières expériences.
BFL a présenté pour la première fois FLUX 3 Action en juillet lors du lancement de la famille FLUX 3 au sens large, mais il était initialement limité à des partenaires de recherche et commerciaux sélectionnés. La version actuelle marque une évolution vers une accessibilité plus large, bien que les prix spécifiques des API commerciales pour le modèle Action n'aient pas encore été annoncés. Le modèle s'appuie sur la recherche Self-Flow de BFL, qui vise à apprendre des représentations utiles du mouvement et des causes et effets à partir de données vidéo sans s'appuyer sur des modèles de représentation figés distincts.
Détails de la source: venturebeat.com ↗
Pourquoi c'est important
Cette version est importante car elle offre une alternative compacte et ouverte aux modèles robotiques propriétaires ou fermés plus grands. En obtenant des scores de référence plus élevés avec moins de paramètres (7B contre 16B) et une inférence plus rapide, BFL abaisse la barrière à l'entrée pour les équipes souhaitant déployer des politiques robotiques avancées sans ressources de calcul massives. La nature ouverte permet un réglage local et la confidentialité des données, ce qui est essentiel pour les applications industrielles où les données propriétaires ne peuvent pas quitter l'installation. Il valide également l'approche « World Action Model », dans laquelle la pré-formation vidéo informe sur le contrôle physique, réduisant potentiellement le besoin d'une collecte approfondie de données spécifiques aux robots.
La sortie de FLUX 3 Action est importante pour l'industrie de la robotique car elle offre une option hautes performances et à poids ouvert qui défie les modèles plus grands et plus gourmands en ressources. En obtenant des résultats de référence supérieurs avec moins de paramètres, BFL démontre que l'efficacité et les performances ne s'excluent pas mutuellement, ce qui est essentiel pour le déploiement en périphérie où les ressources de calcul sont limitées.
Pour les développeurs, la nature ouverte du modèle constitue un différenciateur clé. Il permet aux équipes d'inspecter, de modifier et d'affiner le modèle au sein de leur propre infrastructure, garantissant ainsi que les démonstrations de robots propriétaires et les données opérationnelles restent privées. Il s'agit d'un avantage significatif par rapport aux services robotiques hébergés ou aux modèles propriétaires tels que Gemini Robotics On-Device 2 de Google, qui sont limités à des testeurs sélectionnés.
L'architecture du modèle, qui combine le pré-entraînement vidéo et la génération d'actions, s'aligne sur la tendance croissante consistant à utiliser des modèles génératifs pour comprendre la dynamique physique. Cette approche peut réduire la quantité de données spécifiques au robot requises pour la formation, car le modèle peut exploiter de larges représentations visuelles et physiques tirées de la vidéo. Cela pourrait accélérer le développement de systèmes robotiques pour des tâches telles que le tri, l’assemblage et la navigation.
Cependant, l'impact pratique dépend des termes finaux de la licence et de la capacité des équipes extérieures à reproduire les résultats rapportés. Les références robotiques sont souvent fragmentées et les comparaisons directes entre différentes architectures de modèles (WAM, VLA et modèles de raisonnement d'action) sont difficiles. Le succès de FLUX 3 Action sera en fin de compte déterminé par ses performances dans des environnements robotiques réels et diversifiés plutôt que par de simples tests de simulation.
Mécanisme interactif : comment cela fonctionne réellement
Explorez de manière interactive la technologie sous-jacente à ce développement.
In AI, what are a model's "parameters"?
Que regarder ensuite
Les développeurs doivent surveiller la disponibilité des termes finaux de la licence commerciale, car la version actuelle est principalement destinée à la recherche et à l'accès des partenaires. La reproduction indépendante des résultats des tests de référence sur divers matériels est cruciale, car les tests de référence en robotique manquent souvent de standardisation. De plus, surveillez l’intégration de FLUX 3 Action dans des API commerciales plus larges ou si BFL étend sa stratégie open-core pour inclure davantage de points de terminaison spécifiques à la robotique.
Le facteur le plus immédiat à surveiller est la publication des termes finaux de la licence commerciale de FLUX 3 Action. Bien que BFL ait publié les poids et le code, les conditions spécifiques d'utilisation commerciale, de redistribution et de modification ne sont pas encore entièrement détaillées. Cela déterminera dans quelle mesure le modèle peut être adopté dans les milieux industriels.
Une vérification indépendante des résultats du benchmark est cruciale. Le taux de réussite de 42,92 % rapporté par BFL sur RoboLab-120 est basé sur ses propres tests, et le classement public de NVIDIA n'avait pas été mis à jour avec ces résultats au moment de la rédaction du rapport. La reproduction par des groupes de recherche tiers sera nécessaire pour confirmer les performances et la généralisabilité du modèle.
Les développeurs doivent également surveiller l’intégration de FLUX 3 Action dans les cadres et matériels robotiques existants. BFL a mis en avant la compatibilité avec le robot SO-101 et LeRobot, mais les performances du modèle sur d'autres plateformes robotiques courantes, comme celles de NVIDIA ou Ai2, restent à voir. La facilité de réglage sur divers matériels sera un facteur déterminant de son adoption.
Enfin, le paysage concurrentiel de la robotique à poids ouvert évolue rapidement. Avec des modèles comme le MolmoAct 2 d'Ai2 et le GR00T N1.7 de NVIDIA déjà disponibles, le succès de FLUX 3 Action dépendra de sa capacité à offrir des avantages distincts en termes de performances, d'efficacité et de facilité d'utilisation. Les prochains mois verront probablement davantage de comparaisons et de points de repère à mesure que la communauté testera le modèle dans diverses applications.