Was ist passiert?
Black Forest Labs (BFL) hat FLUX 3 Action veröffentlicht, ein offenes „World Action Model“ mit 7 Milliarden Parametern, das für die Robotik entwickelt wurde. Das Modell nutzt Kamerabeobachtungen, Roboterzustand und Anweisungen in natürlicher Sprache, um physische Aktionen zu generieren. BFL meldet eine Erfolgsquote von 42,92 % beim RoboLab-120-Benchmark von NVIDIA und übertrifft damit den bisherigen Spitzenreiter, NVIDIAs Cosmos3-Nano-Policy (16B-Parameter), um 6,1 Prozentpunkte. Die Veröffentlichung umfasst Gewichte, Code und Feinabstimmungsrezepte, sodass Entwickler das Modell mithilfe von Frameworks wie LeRobot an bestimmte Roboter anpassen können.
Black Forest Labs, bekannt für seine FLUX-Bild- und Videomodelle, hat sich mit der Veröffentlichung von FLUX 3 Action auf die Robotik ausgeweitet. Dieses 7-Milliarden-Parameter-Modell ist ein „World Action Model“ (WAM) mit offenem Gewicht, das Kameraeingaben, Systemzustände und Textanweisungen verarbeitet, um eine Folge von 32 physischen Aktionen zusammen mit einer Vorhersage der Entwicklung der visuellen Szene auszugeben.
Laut VentureBeat berichtet BFL, dass FLUX 3 Action beim RoboLab-120-Benchmark von NVIDIA eine Gesamterfolgsquote von 42,92 % erreicht. Dieser Wert übertrifft das bisherige Top-Open-Modell, NVIDIAs Cosmos3-Nano-Policy, um 6,1 Prozentpunkte. Bemerkenswert ist, dass FLUX 3 Action im Vergleich zu den 16 Milliarden von Cosmos nur 7 Milliarden Parameter verwendet, und BFL gibt an, dass es 1,43-mal schneller läuft und damit eine neue Pareto-Grenze für Effizienz und Leistung setzt.
Die Veröffentlichung umfasst Modellgewichte, Code, Feinabstimmungsrezepte und reproduzierbare Beispiele. BFL gibt an, dass Teams das Modell mithilfe von Demonstrationen verfeinern können, die sie von ihren eigenen Robotern gesammelt haben, und erwähnt insbesondere die Kompatibilität mit dem SO-101-Roboter und dem LeRobot-Framework von Hugging Face. Das Unternehmen demonstrierte auch die Fähigkeiten des Modells in nicht-robotergestützten Umgebungen, darunter das Fliegen von Drohnen und das Spielen des Videospiels Doom ohne Todesfälle im Spiel, obwohl diese als frühe Experimente bezeichnet werden.
BFL stellte FLUX 3 Action erstmals im Juli vor, als es die breitere FLUX 3-Familie auf den Markt brachte, war jedoch zunächst auf ausgewählte Forschungs- und Handelspartner beschränkt. Die aktuelle Version markiert einen Wandel hin zu einer breiteren Zugänglichkeit, obwohl noch keine spezifischen kommerziellen API-Preise für das Action-Modell bekannt gegeben wurden. Das Modell baut auf der Self-Flow-Forschung des BFL auf, die darauf abzielt, nützliche Darstellungen von Bewegung und Ursache und Wirkung aus Videodaten zu lernen, ohne auf separate eingefrorene Darstellungsmodelle angewiesen zu sein.
Quellenangaben: venturebeat.com ↗
Warum es wichtig ist
Diese Version ist von Bedeutung, da sie eine kompakte, offene Alternative zu größeren proprietären oder geschlossenen Robotikmodellen bietet. Durch das Erreichen höherer Benchmark-Ergebnisse mit weniger Parametern (7B vs. 16B) und schnellerer Inferenz senkt BFL die Eintrittsbarriere für Teams, die fortschrittliche Roboterrichtlinien ohne große Rechenressourcen einsetzen möchten. Die offene Struktur ermöglicht eine lokale Feinabstimmung und Datenschutz, was für industrielle Anwendungen von entscheidender Bedeutung ist, bei denen proprietäre Daten die Anlage nicht verlassen können. Es validiert auch den „World Action Model“-Ansatz, bei dem ein Video-Vortraining die physische Kontrolle beeinflusst und möglicherweise den Bedarf an umfangreicher roboterspezifischer Datenerfassung verringert.
Die Veröffentlichung von FLUX 3 Action ist für die Robotikbranche von Bedeutung, da es eine leistungsstarke Option mit offenem Gewicht bietet, die größere, ressourcenintensivere Modelle in Frage stellt. Durch das Erreichen überlegener Benchmark-Ergebnisse mit weniger Parametern zeigt BFL, dass Effizienz und Leistung sich nicht gegenseitig ausschließen, was für den Edge-Einsatz, bei dem die Rechenressourcen begrenzt sind, von entscheidender Bedeutung ist.
Für Entwickler ist die offene Gewichtung des Modells ein wesentliches Unterscheidungsmerkmal. Es ermöglicht Teams, das Modell innerhalb ihrer eigenen Infrastruktur zu prüfen, zu modifizieren und zu optimieren und stellt so sicher, dass proprietäre Roboterdemonstrationen und Betriebsdaten privat bleiben. Dies ist ein erheblicher Vorteil gegenüber gehosteten Robotikdiensten oder proprietären Modellen wie Gemini Robotics On-Device 2 von Google, die auf ausgewählte Tester beschränkt sind.
Die Architektur des Modells, die Video-Vortraining mit Aktionsgenerierung kombiniert, entspricht dem wachsenden Trend, generative Modelle zum Verständnis der physikalischen Dynamik zu verwenden. Dieser Ansatz kann die Menge an roboterspezifischen Daten reduzieren, die für das Training erforderlich sind, da das Modell umfassende visuelle und physische Darstellungen nutzen kann, die aus Videos gelernt wurden. Dies könnte die Entwicklung von Robotersystemen für Aufgaben wie Sortieren, Zusammenbauen und Navigation beschleunigen.
Die praktischen Auswirkungen hängen jedoch von den endgültigen Lizenzbedingungen und der Fähigkeit externer Teams ab, die gemeldeten Ergebnisse zu reproduzieren. Robotik-Benchmarks sind häufig fragmentiert und direkte Vergleiche zwischen verschiedenen Modellarchitekturen (WAMs, VLAs und aktionsbegründenden Modellen) sind schwierig. Der Erfolg von FLUX 3 Action wird letztendlich von seiner Leistung in realen, vielfältigen Roboterumgebungen und nicht nur von Simulationsbenchmarks bestimmt.
Interaktiver Mechanismus: Wie es tatsächlich funktioniert
Entdecken Sie interaktiv die zugrunde liegende Technologie, die dieser Entwicklung zugrunde liegt.
In AI, what are a model's "parameters"?
Was Sie als nächstes sehen sollten
Entwickler sollten die Verfügbarkeit der endgültigen kommerziellen Lizenzbedingungen überwachen, da die aktuelle Version in erster Linie für die Forschung und den Partnerzugriff gedacht ist. Die unabhängige Reproduktion der Benchmark-Ergebnisse auf unterschiedlicher Hardware ist von entscheidender Bedeutung, da Robotik-Benchmarks häufig nicht standardisiert sind. Achten Sie außerdem auf die Integration von FLUX 3 Action in breitere kommerzielle APIs oder darauf, ob BFL seine Open-Core-Strategie um mehr robotikspezifische Endpunkte erweitert.
Der unmittelbarste Faktor, den man im Auge behalten sollte, ist die Veröffentlichung der endgültigen kommerziellen Lizenzbedingungen für FLUX 3 Action. Während BFL die Gewichte und den Code veröffentlicht hat, sind die spezifischen Bedingungen für die kommerzielle Nutzung, Weiterverbreitung und Änderung noch nicht vollständig detailliert. Dies wird bestimmen, wie weit das Modell in industriellen Umgebungen übernommen werden kann.
Eine unabhängige Überprüfung der Benchmark-Ergebnisse ist von entscheidender Bedeutung. Die von BFL gemeldete Erfolgsquote von 42,92 % beim RoboLab-120 basiert auf eigenen Tests, und die öffentliche Bestenliste von NVIDIA war zum Zeitpunkt des Berichts noch nicht mit diesen Ergebnissen aktualisiert. Eine Reproduktion durch externe Forschungsgruppen ist erforderlich, um die Leistung und Generalisierbarkeit des Modells zu bestätigen.
Entwickler sollten auch die Integration von FLUX 3 Action in bestehende Robotik-Frameworks und -Hardware überwachen. BFL hat die Kompatibilität mit dem SO-101-Roboter und LeRobot hervorgehoben, aber die Leistung des Modells auf anderen gängigen Roboterplattformen, wie denen von NVIDIA oder Ai2, bleibt abzuwarten. Die einfache Feinabstimmung auf unterschiedlicher Hardware wird ein entscheidender Faktor für die Einführung sein.
Schließlich entwickelt sich die Wettbewerbslandschaft in der Robotik mit offenen Gewichten rasant weiter. Da Modelle wie MolmoAct 2 von Ai2 und GR00T N1.7 von NVIDIA bereits verfügbar sind, hängt der Erfolg von FLUX 3 Action von seiner Fähigkeit ab, deutliche Vorteile in Bezug auf Leistung, Effizienz und Benutzerfreundlichkeit zu bieten. In den nächsten Monaten wird es wahrscheinlich weitere Vergleiche und Benchmarks geben, da die Community das Modell in verschiedenen Anwendungen testet.