Aperçu
Covariant est une société de robotique et d'IA qui a construit de grands « modèles de base » pour les robots, permettant aux bras robotiques de voir, de raisonner et de sélectionner des objets qu'ils n'ont jamais rencontrés auparavant. C’est important parce qu’il a apporté la recette du modèle linguistique d’une vaste préformation à la manipulation physique dans les entrepôts.
Les modèles de base robotiques Covariant sont mieux compris dans le contexte de la stratégie, de l'accès aux modèles, des décisions de plate-forme et des partenariats écosystémiques.
Plongée profonde
Fondée en 2017 par des chercheurs en IA, dont Pieter Abbeel, Peter Chen et Rocky Duan de l'UC Berkeley et de OpenAI, Covariant a construit Covariant Brain, un logiciel d'IA qui alimente les bras robotiques pour la préparation et le tri en entrepôt. Son produit phare, RFM-1 (Robotics Foundation Model 1), introduit en 2024, a été formé sur d'énormes quantités de données de sélection du monde réel, ainsi que de textes et d'images, afin que les robots puissent gérer des bacs désordonnés d'articles inconnus et même répondre à des instructions en langage naturel. Plutôt que de programmer chaque élément, le système généralise à partir de l'expérience comme un grand modèle de langage se généralise à travers le texte. En 2024, une grande partie de l'équipe de Covariant, y compris ses fondateurs, a été embauchée par Amazon dans le cadre d'un accord de licence et de talents, indiquant à quel point les modèles de base de robots stratégiques étaient devenus stratégiques.
Aperçu technique
RFM-1 est un transformateur multimodal entraîné sur le texte, les images, la vidéo, les lectures des capteurs du robot et les actions motrices, les traitant comme des jetons dans une seule séquence. En prédisant le prochain jeton selon ces modalités, il apprend les causes et effets physiques, de sorte qu'il peut être informé par le langage et la raison de ce qu'un maître fera avant d'agir. Cela permet à un seul modèle de contrôler différents robots et de saisir de nouveaux objets sans ingénierie par élément, reflétant la manière dont une vaste pré-formation produit une capacité linguistique générale.
Maîtriser les modèles de fondations robotiques covariantes
Covariant est une société de robotique et d'IA qui a construit de grands « modèles de base » pour les robots, permettant aux bras robotiques de voir, de raisonner et de sélectionner des objets qu'ils n'ont jamais rencontrés auparavant. C’est important parce qu’il a apporté la recette du modèle linguistique d’une vaste préformation à la manipulation physique dans les entrepôts. Les modèles de base robotiques Covariant sont mieux compris dans le contexte de la stratégie, de l'accès aux modèles, des décisions de plate-forme et des partenariats écosystémiques. Pour acquérir une compréhension approfondie, traitez les modèles de base robotiques covariants comme un modèle opérationnel et non comme une fonctionnalité unique : définissez les résultats souhaités, clarifiez les hypothèses et séparez ce que le système peut faire de manière fiable de ce qui nécessite encore un jugement d'expert.
En pratique, des équipes solides utilisant les modèles de base robotiques Covariant évaluent la stratégie du fournisseur, la fiabilité de la feuille de route et le risque de verrouillage avant de s'engager. Ils documentent des critères de réussite explicites, testent par rapport à des données et des flux de travail réalistes et itèrent en fonction des modèles d'échec observés plutôt que des victoires de référence ponctuelles. C’est là que la compréhension théorique se transforme en capacité durable au niveau des produits, des politiques et des opérations.
Les feuilles de route des fournisseurs influencent les fonctionnalités que votre équipe peut ensuite créer. Dans le même temps, les annonces de lancement peuvent dépasser la stabilité des flux de production réels. L'approche la plus résiliente consiste à combiner vitesse d'expérimentation et discipline de gouvernance : exécuter des projets pilotes, capturer des preuves, publier des journaux de décision et mettre à jour en permanence les protections à mesure que le comportement du modèle, les attentes des utilisateurs et les exigences réglementaires évoluent.
Impact stratégique
Les feuilles de route des fournisseurs influencent les fonctionnalités que votre équipe peut ensuite créer.
Les feuilles de route des fournisseurs influencent les fonctionnalités que votre équipe peut ensuite créer. Dans les déploiements de haute qualité, cela se traduit par des règles de fonctionnement mesurables, des limites de propriété et des rituels d'examen récurrents afin que les équipes puissent accroître la confiance au lieu de l'ambiguïté.
Les conditions commerciales et les options de déploiement affectent les coûts et les risques à long terme.
Les conditions commerciales et les options de déploiement affectent les coûts et les risques à long terme. Dans les déploiements de haute qualité, cela se traduit par des règles de fonctionnement mesurables, des limites de propriété et des rituels d'examen récurrents afin que les équipes puissent accroître la confiance au lieu de l'ambiguïté.
Les incitations des entreprises façonnent les défauts des produits, la posture de sécurité et l’ouverture.
Les incitations des entreprises façonnent les défauts des produits, la posture de sécurité et l’ouverture. Dans les déploiements de haute qualité, cela se traduit par des règles de fonctionnement mesurables, des limites de propriété et des rituels d'examen récurrents afin que les équipes puissent accroître la confiance au lieu de l'ambiguïté.
Mise en œuvre dans le monde réel
Récupérer des articles variés et inédits dans des bacs d'entrepôt encombrés pour les commandes de commerce électronique
Tri des colis par destination sur lignes d'induction logistique sans programmation article
Utiliser des invites en langage naturel pour indiquer à un bras robot quoi saisir ou comment manipuler un objet
Alimenter des robots d'entrepôt tiers via la plateforme logicielle Covariant Brain
Modèles de mise en œuvre
Modèles de fondations robotiques covariantes en pratique
Récupérer des articles variés et inédits dans des bacs d'entrepôt encombrés pour les commandes de commerce électronique.
Sélection d'articles variés et inédits dans des entrepôts encombrés pour les commandes de commerce électronique Les équipes obtiennent généralement de meilleurs résultats lorsqu'elles définissent des seuils de qualité à l'avance, maintiennent un chemin de remontée humain pour les cas extrêmes et suivent à la fois les gains de productivité et les coûts d'erreur au fil du temps.
Modèles de fondations robotiques covariantes en pratique
Tri des colis par destination sur lignes d'induction logistique sans programmation article.
Tri des colis par destination sur des lignes d'induction logistique sans programmation par article Les équipes obtiennent généralement de meilleurs résultats lorsqu'elles définissent des seuils de qualité à l'avance, maintiennent un chemin de remontée humaine pour les cas extrêmes et suivent à la fois les gains de productivité et les coûts d'erreur au fil du temps.
Modèles de fondations robotiques covariantes en pratique
Utiliser des invites en langage naturel pour indiquer à un bras robot quoi saisir ou comment manipuler un objet.
Utilisation d'invites en langage naturel pour indiquer à un bras robot quoi saisir ou comment manipuler un élément. Les équipes obtiennent généralement de meilleurs résultats lorsqu'elles définissent des seuils de qualité à l'avance, maintiennent un chemin d'escalade humain pour les cas extrêmes et suivent à la fois les gains de productivité et les coûts d'erreur au fil du temps.
Modèles de fondations robotiques covariantes en pratique
Alimenter des robots d'entrepôt tiers via la plateforme logicielle Covariant Brain.
Alimenter des robots d'entrepôt tiers via la plate-forme logicielle Covariant Brain Les équipes obtiennent généralement de meilleurs résultats lorsqu'elles définissent des seuils de qualité à l'avance, maintiennent un chemin d'escalade humain pour les cas extrêmes et suivent à la fois les gains de productivité et les coûts d'erreur au fil du temps.
Risques et garde-fous
Les annonces de lancement peuvent dépasser la stabilité des flux de production réels.
La tarification des API ou les changements de politique peuvent briser les hypothèses du jour au lendemain.
La dépendance à un seul fournisseur augmente les coûts de verrouillage et de migration.
Feuille de route de mise en œuvre
Évaluez les fournisseurs à l’aide de vos propres tâches et ensembles de données.
Évaluez les fournisseurs à l’aide de vos propres tâches et ensembles de données. Traitez chaque étape comme une porte de preuves : si les critères ne sont pas remplis, suspendez le déploiement, comblez l'écart, puis étendez l'utilisation.
Vérifiez les conditions de confidentialité, de sécurité et juridiques avant l’intégration.
Vérifiez les conditions de confidentialité, de sécurité et juridiques avant l’intégration. Traitez chaque étape comme une porte de preuves : si les critères ne sont pas remplis, suspendez le déploiement, comblez l'écart, puis étendez l'utilisation.
Maintenez un plan de secours entre les modèles ou les fournisseurs.
Maintenez un plan de secours entre les modèles ou les fournisseurs. Traitez chaque étape comme une porte de preuves : si les critères ne sont pas remplis, suspendez le déploiement, comblez l'écart, puis étendez l'utilisation.
Surveillez les notes de version afin que les modifications de la feuille de route ne surprennent pas les équipes.
Surveillez les notes de version afin que les modifications de la feuille de route ne surprennent pas les équipes. Traitez chaque étape comme une porte de preuves : si les critères ne sont pas remplis, suspendez le déploiement, comblez l'écart, puis étendez l'utilisation.