Co se stalo
Black Forest Labs (BFL) uvolnily FLUX 3 Action, otevřený „World Action Model“ se 7 miliardami parametrů určený pro robotiku. Model využívá pozorování kamery, stav robota a pokyny v přirozeném jazyce ke generování fyzických akcí. BFL hlásí 42,92% úspěšnost v benchmarku RoboLab-120 NVIDIA, čímž překonal předchozího lídra, Cosmos3-Nano-Policy (16B parametry) od NVIDIA, o 6,1 procentního bodu. Vydání obsahuje váhy, kód a dolaďovací receptury, což umožňuje vývojářům přizpůsobit model konkrétním robotům pomocí rámců, jako je LeRobot.
Black Forest Labs, známé svými obrazovými a video modely FLUX, se vydáním FLUX 3 Action rozšířily do oblasti robotiky. Tento model se 7 miliardami parametrů je „World Action Model“ (WAM) s otevřenou váhou, který zpracovává vstupy kamery, stavy systému a textové instrukce pro výstup sekvence 32 fyzických akcí spolu s predikcí vývoje vizuální scény.
Podle VentureBeat, BFL uvádí, že FLUX 3 Action dosahuje 42,92% celkové úspěšnosti v benchmarku RoboLab-120 NVIDIA. Toto skóre převyšuje předchozí nejvyšší otevřený model, NVIDIA Cosmos3-Nano-Policy, o 6,1 procentního bodu. Je pozoruhodné, že FLUX 3 Action používá pouze 7 miliard parametrů ve srovnání s 16 miliardami Cosmosu a BFL tvrdí, že běží 1,43krát rychleji, což představuje novou Paretovu hranici pro efektivitu a výkon.
Vydání obsahuje váhy modelů, kód, dolaďovací receptury a reprodukovatelné příklady. BFL uvádí, že týmy mohou doladit model pomocí ukázek shromážděných od jejich vlastních robotů, konkrétně zmiňuje kompatibilitu s robotem SO-101 a rámcem LeRobot Hugging Face. Společnost také předvedla schopnosti modelu v nerobotických prostředích, včetně létajících dronů a hraní videohry Doom bez úmrtí ve hře, i když se jedná o rané experimenty.
Společnost BFL poprvé představila FLUX 3 Action v červenci při uvedení širší rodiny FLUX 3, ale zpočátku byla omezena na vybrané výzkumné a komerční partnery. Aktuální verze znamená posun směrem k širší dostupnosti, ačkoli konkrétní komerční ceny API pro model Action ještě nebyly oznámeny. Model staví na výzkumu Self-Flow společnosti BFL, jehož cílem je naučit se užitečné reprezentace pohybu a příčiny a následku z video dat, aniž by se spoléhalo na samostatné modely zmrazené reprezentace.
Podrobnosti o zdroji: venturebeat.com ↗
Proč na tom záleží
Tato verze je významná, protože poskytuje kompaktní, otevřenou alternativu k větším proprietárním nebo uzavřeným robotickým modelům. Dosažením vyšších srovnávacích skóre s menším počtem parametrů (7B oproti 16B) a rychlejším vyvozováním snižuje BFL překážku vstupu pro týmy, které chtějí nasadit pokročilé robotické zásady bez masivních výpočetních zdrojů. Povaha otevřené váhy umožňuje místní jemné doladění a soukromí dat, což je zásadní pro průmyslové aplikace, kde proprietární data nemohou opustit zařízení. Ověřuje také přístup „World Action Model“, kde předtrénování pomocí videa informuje o fyzické kontrole, což potenciálně snižuje potřebu rozsáhlého sběru dat specifických pro roboty.
Vydání FLUX 3 Action je důležité pro robotický průmysl, protože nabízí vysoce výkonnou variantu s otevřenou hmotností, která je výzvou pro větší modely náročnější na zdroje. Dosažením vynikajících výsledků benchmarku s menším počtem parametrů BFL demonstruje, že efektivita a výkon se vzájemně nevylučují, což je rozhodující pro okrajové nasazení, kde jsou omezené výpočetní zdroje.
Pro vývojáře je povaha modelu s otevřenou váhou klíčovým rozdílem. Umožňuje týmům kontrolovat, upravovat a dolaďovat model v rámci jejich vlastní infrastruktury, což zajišťuje, že ukázky proprietárních robotů a provozní data zůstanou soukromá. To je významná výhoda oproti hostovaným robotickým službám nebo proprietárním modelům, jako je Gemini Robotics On-Device 2 společnosti Google, které jsou omezeny na vybrané testery.
Architektura modelu, která kombinuje předtrénink videa s generováním akcí, je v souladu s rostoucím trendem používání generativních modelů k pochopení fyzické dynamiky. Tento přístup může snížit množství dat specifických pro roboty potřebných pro trénink, protože model může využít široké vizuální a fyzické reprezentace získané z videa. To by mohlo urychlit vývoj robotických systémů pro úkoly, jako je třídění, montáž a navigace.
Praktický dopad však závisí na konečných licenčních podmínkách a schopnosti externích týmů reprodukovat nahlášené výsledky. Srovnávací testy robotiky jsou často roztříštěné a přímé srovnání mezi různými architekturami modelů (WAM, VLA a modely uvažování o akci) je obtížné. Úspěch FLUX 3 Action bude v konečném důsledku určován jeho výkonem v reálných, různorodých robotických prostředích, nikoli pouze simulačními benchmarky.
Interaktivní mechanismus: Jak to vlastně funguje
Interaktivně prozkoumejte základní technologii tohoto vývoje.
In AI, what are a model's "parameters"?
Na co se dále dívat
Vývojáři by měli sledovat dostupnost konečných komerčních licenčních podmínek, protože aktuální verze je primárně určena pro výzkum a partnerský přístup. Nezávislá reprodukce výsledků benchmarku na různém hardwaru je zásadní, protože robotické benchmarky často postrádají standardizaci. Kromě toho sledujte integraci FLUX 3 Action do širších komerčních API nebo zda BFL rozšiřuje svou strategii otevřeného jádra tak, aby zahrnovala více koncových bodů specifických pro robotiku.
Nejdůležitějším faktorem, který je třeba sledovat, je zveřejnění konečných komerčních licenčních podmínek pro FLUX 3 Action. I když BFL zveřejnila váhy a kód, konkrétní podmínky pro komerční použití, redistribuci a modifikace ještě nejsou úplně podrobné. To určí, do jaké míry může být model přijat v průmyslovém prostředí.
Nezávislé ověření výsledků benchmarku je zásadní. BFL hlášená 42,92% úspěšnost na RoboLab-120 je založena na jejich vlastním testování a veřejný žebříček NVIDIA nebyl v době zprávy o těchto výsledcích aktualizován. K potvrzení výkonnosti a zobecnitelnosti modelu bude nezbytná reprodukce výzkumnými skupinami třetích stran.
Vývojáři by také měli sledovat integraci FLUX 3 Action do stávajících robotických frameworků a hardwaru. BFL zdůraznila kompatibilitu s robotem SO-101 a LeRobotem, ale výkon modelu na jiných běžných robotických platformách, jako jsou platformy NVIDIA nebo Ai2, se teprve uvidí. Snadné doladění na různém hardwaru bude klíčovým faktorem jeho přijetí.
Konečně, konkurenční prostředí v robotice s otevřenou váhou se rychle vyvíjí. Vzhledem k tomu, že jsou již k dispozici modely jako Ai2's MolmoAct 2 a NVIDIA's GR00T N1.7, bude úspěch FLUX 3 Action záviset na jeho schopnosti nabídnout výrazné výhody z hlediska výkonu, efektivity a snadného použití. Příštích několik měsíců pravděpodobně přinese více srovnání a benchmarků, protože komunita testuje model v různých aplikacích.