que paso
Black Forest Labs (BFL) lanzó FLUX 3 Action, un 'Modelo de acción mundial' de peso abierto y 7 mil millones de parámetros diseñado para robótica. El modelo toma observaciones de la cámara, el estado del robot e instrucciones en lenguaje natural para generar acciones físicas. BFL informa una tasa de éxito del 42,92% en el punto de referencia RoboLab-120 de NVIDIA, superando al líder anterior, Cosmos3-Nano-Policy de NVIDIA (parámetros 16B), en 6,1 puntos porcentuales. El lanzamiento incluye pesos, código y recetas de ajuste, lo que permite a los desarrolladores adaptar el modelo a robots específicos utilizando marcos como LeRobot.
Black Forest Labs, conocido por sus modelos de imagen y vídeo FLUX, se ha expandido hacia la robótica con el lanzamiento de FLUX 3 Action. Este modelo de 7 mil millones de parámetros es un 'Modelo de acción mundial' (WAM) de peso abierto que procesa entradas de cámara, estados del sistema e instrucciones de texto para generar una secuencia de 32 acciones físicas junto con una predicción de la evolución de la escena visual.
Según VentureBeat, BFL informa que FLUX 3 Action logra una tasa de éxito general del 42,92% en el punto de referencia RoboLab-120 de NVIDIA. Esta puntuación supera al modelo abierto superior anterior, Cosmos3-Nano-Policy de NVIDIA, en 6,1 puntos porcentuales. En particular, FLUX 3 Action utiliza sólo 7 mil millones de parámetros en comparación con los 16 mil millones de Cosmos, y BFL afirma que se ejecuta 1,43 veces más rápido, estableciendo una nueva frontera de Pareto para la eficiencia y el rendimiento.
El lanzamiento incluye los pesos del modelo, el código, las recetas de ajuste y ejemplos reproducibles. BFL afirma que los equipos pueden ajustar el modelo utilizando demostraciones recopiladas de sus propios robots, mencionando específicamente la compatibilidad con el robot SO-101 y el marco LeRobot de Hugging Face. La compañía también demostró las capacidades del modelo en entornos no robóticos, incluidos volar drones y jugar al videojuego Doom sin muertes en el juego, aunque estos se caracterizan como experimentos iniciales.
BFL presentó por primera vez FLUX 3 Action en julio cuando lanzó la familia FLUX 3 más amplia, pero inicialmente se limitó a socios comerciales y de investigación seleccionados. El lanzamiento actual marca un cambio hacia una accesibilidad más amplia, aunque aún no se ha anunciado el precio específico de la API comercial para el modelo Action. El modelo se basa en la investigación Self-Flow de BFL, cuyo objetivo es aprender representaciones útiles de movimiento y causa y efecto a partir de datos de vídeo sin depender de modelos de representación congelados separados.
Detalles de la fuente: venturebeat.com ↗
Por qué es importante
Este lanzamiento es importante porque proporciona una alternativa compacta y de peso abierto a los modelos de robótica cerrados o propietarios más grandes. Al lograr puntuaciones de referencia más altas con menos parámetros (7B frente a 16B) e inferencias más rápidas, BFL reduce la barrera de entrada para los equipos que desean implementar políticas robóticas avanzadas sin recursos informáticos masivos. La naturaleza de peso abierto permite ajustes locales y privacidad de datos, lo cual es fundamental para aplicaciones industriales donde los datos propietarios no pueden salir de las instalaciones. También valida el enfoque del 'Modelo de acción mundial', donde el preentrenamiento en video informa el control físico, lo que potencialmente reduce la necesidad de una recopilación extensa de datos específicos de robots.
El lanzamiento de FLUX 3 Action es trascendental para la industria de la robótica porque ofrece una opción de alto rendimiento y peso abierto que desafía a los modelos más grandes y que consumen más recursos. Al lograr resultados comparativos superiores con menos parámetros, BFL demuestra que la eficiencia y el rendimiento no son mutuamente excluyentes, lo cual es fundamental para la implementación perimetral donde los recursos informáticos son limitados.
Para los desarrolladores, la naturaleza abierta del modelo es un diferenciador clave. Permite a los equipos inspeccionar, modificar y ajustar el modelo dentro de su propia infraestructura, garantizando que las demostraciones de robots patentados y los datos operativos sigan siendo privados. Esta es una ventaja significativa sobre los servicios de robótica alojados o modelos propietarios como Gemini Robotics On-Device 2 de Google, que están limitados a probadores seleccionados.
La arquitectura del modelo, que combina el preentrenamiento por vídeo con la generación de acciones, se alinea con la creciente tendencia de utilizar modelos generativos para comprender la dinámica física. Este enfoque puede reducir la cantidad de datos específicos del robot necesarios para el entrenamiento, ya que el modelo puede aprovechar amplias representaciones visuales y físicas aprendidas del vídeo. Esto podría acelerar el desarrollo de sistemas robóticos para tareas como clasificación, montaje y navegación.
Sin embargo, el impacto práctico depende de los términos finales de la licencia y de la capacidad de los equipos externos para reproducir los resultados informados. Los puntos de referencia de robótica a menudo están fragmentados y las comparaciones directas entre diferentes arquitecturas de modelos (WAM, VLA y modelos de razonamiento de acción) son difíciles. El éxito de FLUX 3 Action estará determinado en última instancia por su desempeño en diversos entornos robóticos del mundo real, en lugar de solo puntos de referencia de simulación.
Mecanismo interactivo: cómo funciona realmente
Explore la tecnología subyacente detrás de este desarrollo de forma interactiva.
In AI, what are a model's "parameters"?
Qué ver a continuación
Los desarrolladores deben monitorear la disponibilidad de los términos finales de la licencia comercial, ya que la versión actual es principalmente para investigación y acceso de socios. La reproducción independiente de los resultados de las pruebas en diversos hardware es crucial, ya que las pruebas de robótica a menudo carecen de estandarización. Además, esté atento a la integración de FLUX 3 Action en API comerciales más amplias o si BFL amplía su estrategia de núcleo abierto para incluir más puntos finales específicos de robótica.
El factor más inmediato a tener en cuenta es la publicación de los términos finales de la licencia comercial de FLUX 3 Action. Si bien BFL ha publicado los pesos y el código, las condiciones específicas para el uso comercial, la redistribución y la modificación aún no están completamente detalladas. Esto determinará en qué medida se puede adoptar el modelo en entornos industriales.
La verificación independiente de los resultados de las pruebas comparativas es crucial. La tasa de éxito del 42,92% reportada por BFL en RoboLab-120 se basa en sus propias pruebas, y la tabla de clasificación pública de NVIDIA no se había actualizado con estos resultados en el momento del informe. Será necesaria la reproducción por parte de grupos de investigación de terceros para confirmar el rendimiento y la generalización del modelo.
Los desarrolladores también deben monitorear la integración de FLUX 3 Action en los marcos y hardware de robótica existentes. BFL ha destacado la compatibilidad con el robot SO-101 y LeRobot, pero aún está por verse el rendimiento del modelo en otras plataformas robóticas comunes, como las de NVIDIA o Ai2. La facilidad de ajuste en diversos hardware será un determinante clave para su adopción.
Por último, el panorama competitivo de la robótica de peso abierto está evolucionando rápidamente. Con modelos como MolmoAct 2 de Ai2 y GR00T N1.7 de NVIDIA ya disponibles, el éxito de FLUX 3 Action dependerá de su capacidad para ofrecer distintas ventajas en términos de rendimiento, eficiencia y facilidad de uso. Es probable que en los próximos meses se produzcan más comparaciones y puntos de referencia a medida que la comunidad pruebe el modelo en varias aplicaciones.