Modèles covariants RFM-1 et fondations robotiques
Le RFM-1 de Covariant est un modèle de base robotique formé sur les données de manipulation d'entrepôt afin que les bras robotisés puissent raisonner et sélectionner des objets inconnus avec le langage et la vision.
Plongée profonde
Fondée en 2017 par des chercheurs en IA, dont Pieter Abbeel, Peter Chen et Rocky Duan de l'UC Berkeley et de OpenAI, Covariant a construit Covariant Brain, un logiciel d'IA qui alimente les bras robotiques pour la préparation et le tri en entrepôt. Son produit phare, RFM-1 (Robotics Foundation Model 1), introduit en 2024, a été formé sur d'énormes quantités de données de sélection du monde réel, ainsi que de textes et d'images, afin que les robots puissent gérer des bacs désordonnés d'articles inconnus et même répondre à des instructions en langage naturel. Plutôt que de programmer chaque élément, le système généralise à partir de l'expérience comme un grand modèle de langage se généralise à travers le texte. En 2024, une grande partie de l'équipe de Covariant, y compris ses fondateurs, a été embauchée par Amazon dans le cadre d'un accord de licence et de talents, indiquant à quel point les modèles de base de robots stratégiques étaient devenus stratégiques.
Aperçu technique
RFM-1 est un transformateur multimodal entraîné sur le texte, les images, la vidéo, les lectures des capteurs du robot et les actions motrices, les traitant comme des jetons dans une seule séquence. En prédisant le prochain jeton selon ces modalités, il apprend les causes et effets physiques, de sorte qu'il peut être informé par le langage et la raison de ce qu'un maître fera avant d'agir. Cela permet à un seul modèle de contrôler différents robots et de saisir de nouveaux objets sans ingénierie par élément, reflétant la manière dont une vaste pré-formation produit une capacité linguistique générale.
Impact stratégique
Stratégie du fournisseur
Les feuilles de route des fournisseurs influencent les fonctionnalités que votre équipe peut ensuite créer.
Coût et budget
Les conditions commerciales et les options de déploiement affectent les coûts et les risques à long terme.
Risques et sécurité
Les incitations des entreprises façonnent les défauts des produits, la posture de sécurité et l’ouverture.
L'avenir des modèles de fondation covariants RFM-1 et robotiques
L'accord Amazon de 2024 regroupe une grande partie de l'expertise de Covariant dans l'un des plus grands exploitants d'entrepôts au monde, laissant entendre que les modèles de fondations robotiques évolueront plus rapidement au sein des entreprises disposant de vastes données opérationnelles. Attendez-vous à une fusion plus étroite du langage, de la vision et de l'action, à davantage de robots acceptant les instructions en anglais simple et à une concurrence avec les modèles VLA de Figure, Physical Intelligence et Google. La question ouverte est de savoir si les modèles de robots généralistes deviendront une couche d’infrastructure partagée ou resteront des avantages exclusifs.
Mise en œuvre dans le monde réel
Récupérer des articles variés et inédits dans des bacs d'entrepôt encombrés pour les commandes de commerce électronique
Tri des colis par destination sur lignes d'induction logistique sans programmation article
Utiliser des invites en langage naturel pour indiquer à un bras robot quoi saisir ou comment manipuler un objet
Alimenter des robots d'entrepôt tiers via la plateforme logicielle Covariant Brain
Risques et garde-fous
Les annonces de lancement peuvent dépasser la stabilité des flux de production réels.
La tarification des API ou les changements de politique peuvent briser les hypothèses du jour au lendemain.
La dépendance à un seul fournisseur augmente les coûts de verrouillage et de migration.
Feuille de route de mise en œuvre
Évaluez les fournisseurs à l’aide de vos propres tâches et ensembles de données.
Vérifiez les conditions de confidentialité, de sécurité et juridiques avant l’intégration.
Maintenez un plan de secours entre les modèles ou les fournisseurs.
Surveillez les notes de version afin que les modifications de la feuille de route ne surprennent pas les équipes.
Continuez à explorer
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Covariant RFM-1 and Robotic Foundation Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Guide suivant
Modèles d’IA liquide et de fondation liquide
Questions fréquemment posées
Qu'est-ce que les modèles covariants RFM-1 et robotique ?
Le RFM-1 de Covariant est un modèle de base robotique formé sur les données de manipulation d'entrepôt afin que les bras robotisés puissent raisonner et sélectionner des objets inconnus avec le langage et la vision.
Quel était le nom du modèle de fondation de Covariant introduit en 2024 ?
Covariant a présenté RFM-1, le Robotics Foundation Model 1, formé sur les données du robot ainsi que sur le texte et les images.
Quelle grande entreprise a embauché une grande partie de l'équipe de Covariant et a concédé sous licence sa technologie en 2024 ?
Amazon a embauché les fondateurs de Covariant et une grande partie de son équipe dans le cadre d'un accord de licence et de talents en 2024.
Quelle idée fondamentale RFM-1 emprunte-t-il aux grands modèles de langage ?
RFM-1 traite le texte, les images, les lectures de capteurs et les actions comme des jetons et prédit le suivant, apprenant à généraliser comme un LLM.
Quelle capacité distingue le plus un modèle de base de robot des robots d’entrepôt traditionnels ?
Le principal avantage est la généralisation : sélectionner des objets nouveaux et invisibles dans des bacs en désordre au lieu d'avoir besoin de chaque élément préprogrammé.
Qui figuraient parmi les fondateurs notables de Covariant ?
Covariant a été cofondé par des chercheurs en IA, dont Pieter Abbeel, Peter Chen et Rocky Duan, avec des racines à l'UC Berkeley et à OpenAI.