Modèles de la Fondation NVIDIA Cosmos World
NVIDIA Cosmos est une famille de « modèles de base du monde » qui génèrent et prédisent des vidéos physiquement réalistes, conçues pour enseigner le monde physique aux robots et aux voitures autonomes.
Aperçu
C’est essentiellement un simulateur vidéo conscient de la physique que vous pouvez solliciter.
Plongée profonde
Annoncé au CES 2025, NVIDIA Cosmos est une plate-forme de modèles de fondation mondiale génératifs (WFM) destinés à l'IA physique – robots, véhicules autonomes et systèmes industriels. Contrairement aux outils généraux de synthèse texte-vidéo axés sur le divertissement, Cosmos s'appuie sur des millions d'heures de conduite, de robotique et de vidéo d'interaction physique pour produire des sorties qui respectent la plausibilité physique : permanence des objets, mouvement et cohérence 3D. Il est livré dans des variantes telles que Cosmos Predict (prédiction d'images futures et vidéo), Cosmos Transfer (transformant des entrées structurées telles que des cartes de profondeur ou de segmentation en vidéo photoréaliste) et Cosmos Reason (un modèle de raisonnement pour comprendre les scènes). Les modèles sont publiés sous licence ouverte afin que les développeurs puissent les affiner sur leurs propres données de capteurs afin de générer des scénarios de formation synthétiques à grande échelle.
Aperçu technique
Cosmos combine un tokeniseur vidéo qui compresse les images haute résolution en jetons compacts avec des architectures de transformation à diffusion et autorégressives qui prédisent ces jetons conditionnés par du texte, des images ou des images antérieures. Un système de garde-corps intégré filtre le contenu dangereux. Le tokenizer est le principal levier d'efficacité : en représentant la vidéo comme un petit ensemble de jetons, les modèles peuvent être formés et exécutés à moindre coût tout en préservant la structure spatiale et temporelle nécessaire au réalisme physique.
Impact stratégique
Stratégie du fournisseur
Les feuilles de route des fournisseurs influencent les fonctionnalités que votre équipe peut ensuite créer.
Coût et budget
Les conditions commerciales et les options de déploiement affectent les coûts et les risques à long terme.
Risques et sécurité
Les incitations des entreprises façonnent les défauts des produits, la posture de sécurité et l’ouverture.
L'avenir des modèles NVIDIA Cosmos World Foundation
Cosmos pointe vers un avenir où l’IA physique sera largement formée dans des mondes générés plutôt que dans le monde réel, lent et coûteux. Attendez-vous à une intégration plus étroite avec NVIDIA Omniverse et Isaac pour une simulation en boucle fermée, une génération vidéo plus contrôlable et plus longue, et une adoption en tant que moteur de données synthétiques pour les développeurs de véhicules autonomes et de robots humanoïdes. À mesure que les WFM ouverts s'améliorent, le goulot d'étranglement passe de la collecte de séquences réelles à la spécification des rares scénarios de « cas extrêmes » que vous souhaitez mettre en pratique.
Mise en œuvre dans le monde réel
Génération de scénarios de conduite synthétiques (dangers rares, météo, éclairage) pour entraîner les systèmes de perception de la conduite autonome
Prédire les futures images vidéo afin qu'un robot puisse anticiper le déroulement d'une scène
Conversion de cartes de profondeur ou de segmentation en vidéo photoréaliste pour l'augmentation des données via Cosmos Transfer
Pré-entraîner les politiques des robots dans des mondes simulés avant de les déployer sur du matériel physique
Risques et garde-fous
Les annonces de lancement peuvent dépasser la stabilité des flux de production réels.
La tarification des API ou les changements de politique peuvent briser les hypothèses du jour au lendemain.
La dépendance à un seul fournisseur augmente les coûts de verrouillage et de migration.
Feuille de route de mise en œuvre
Évaluez les fournisseurs à l’aide de vos propres tâches et ensembles de données.
Vérifiez les conditions de confidentialité, de sécurité et juridiques avant l’intégration.
Maintenez un plan de secours entre les modèles ou les fournisseurs.
Surveillez les notes de version afin que les modifications de la feuille de route ne surprennent pas les équipes.
Continuez à explorer
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the NVIDIA Cosmos World Foundation Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Guide suivant
Modèles de base de robot Skild AI
Questions fréquemment posées
Qu’est-ce que NVIDIA Cosmos World Foundation Models ?
NVIDIA Cosmos est une famille de « modèles de base du monde » qui génèrent et prédisent des vidéos physiquement réalistes, conçues pour enseigner le monde physique aux robots et aux voitures autonomes. Il s'agit essentiellement d'un simulateur vidéo sensible à la physique que vous pouvez inviter.
Quel est l’objectif principal de NVIDIA Cosmos ?
Cosmos est une plate-forme de modèles de base mondiaux pour l'IA physique, générant des vidéos tenant compte de la physique pour former des robots et des véhicules autonomes.
À quoi sert le tokeniseur vidéo dans Cosmos ?
Le tokenizer compresse la vidéo haute résolution en un petit ensemble de jetons, ce qui rend les modèles moins chers à former et à exécuter tout en préservant la structure.
Quelle variante de Cosmos se concentre sur la prédiction des futures images vidéo ?
Cosmos Predict gère la prédiction vidéo et d'images futures ; Transfer convertit les entrées structurées en vidéo et Reason gère la compréhension de la scène.
Pourquoi les modèles de fondations mondiales sont-ils précieux pour la formation sur les véhicules autonomes ?
Générer des cas de bord synthétiques est bien moins cher et plus sûr que de les collecter sur de vraies routes, accélérant ainsi la formation.
Comment Cosmos a-t-il été présenté aux développeurs ?
NVIDIA a publié les modèles Cosmos sous licence ouverte afin que les développeurs puissent les adapter à leurs propres données.