Mô hình nền tảng thế giới NVIDIA Cosmos
NVIDIA Cosmos là một nhóm 'mô hình nền tảng thế giới' tạo ra và dự đoán video thực tế về mặt vật lý, được xây dựng để dạy cho robot và xe tự lái về thế giới thực.
Tổng quan
It is essentially a physics-aware video simulator you can prompt.
Lặn sâu
Được công bố tại CES 2025, NVIDIA Cosmos là một nền tảng gồm các mô hình nền tảng thế giới sáng tạo (WFM) nhằm vào AI vật lý — robot, xe tự hành và hệ thống công nghiệp. Không giống như các công cụ chuyển văn bản thành video thông thường tập trung vào giải trí, Cosmos được đào tạo về hàng triệu giờ lái xe, robot và video tương tác vật lý để tạo ra kết quả đầu ra tôn trọng tính hợp lý về mặt vật lý: tính lâu dài của đối tượng, chuyển động và tính nhất quán 3D. Nó cung cấp các biến thể như Cosmos Predict (dự đoán khung hình và video trong tương lai), Cosmos Transfer (chuyển các đầu vào có cấu trúc như bản đồ độ sâu hoặc phân đoạn thành video quang học) và Cosmos Reason (một mô hình lý luận để hiểu các cảnh). Các mô hình được phát hành theo giấy phép mở để các nhà phát triển có thể tinh chỉnh chúng trên dữ liệu cảm biến của riêng họ nhằm tạo ra các kịch bản đào tạo tổng hợp trên quy mô lớn.
Hiểu biết kỹ thuật
Cosmos kết hợp trình mã thông báo video nén các khung hình có độ phân giải cao thành các mã thông báo nhỏ gọn với cả kiến trúc biến áp khuếch tán và biến áp tự hồi quy để dự đoán các mã thông báo đó dựa trên văn bản, hình ảnh hoặc khung hình trước đó. Hệ thống lan can tích hợp lọc nội dung không an toàn. Công cụ mã thông báo là đòn bẩy hiệu quả chính: bằng cách biểu diễn video dưới dạng một tập hợp mã thông báo nhỏ, các mô hình có thể được đào tạo và chạy với chi phí rẻ hơn nhiều trong khi vẫn duy trì cấu trúc không gian và thời gian cần thiết cho hiện thực vật lý.
Tác động chiến lược
Chiến lược nhà cung cấp
Lộ trình của nhà cung cấp ảnh hưởng đến những tính năng mà nhóm của bạn có thể xây dựng tiếp theo.
Chi phí và ngân sách
Các điều khoản thương mại và các lựa chọn triển khai ảnh hưởng đến chi phí và rủi ro dài hạn.
Rủi ro và an toàn
Các biện pháp khuyến khích của công ty định hình các tình trạng vỡ nợ của sản phẩm, trạng thái an toàn và tính cởi mở.
Tương lai của các mô hình NVIDIA Cosmos World Foundation
Cosmos hướng tới một tương lai nơi AI vật lý được đào tạo chủ yếu trong thế giới được tạo ra thay vì thế giới thực chậm chạp, tốn kém. Mong đợi sự tích hợp chặt chẽ hơn với NVIDIA Omniverse và Isaac để mô phỏng vòng kín, tạo video dài hơn và dễ điều khiển hơn cũng như áp dụng làm công cụ dữ liệu tổng hợp cho các nhà phát triển xe tự hành và robot hình người. Khi các WFM mở được cải thiện, nút thắt cổ chai sẽ chuyển từ việc thu thập cảnh quay thực sang chỉ định các tình huống 'trường hợp nguy hiểm' hiếm gặp mà bạn muốn thực hành.
Triển khai trong thế giới thực
Tạo các kịch bản lái xe tổng hợp (mối nguy hiểm hiếm gặp, thời tiết, ánh sáng) để đào tạo hệ thống nhận thức tự lái
Dự đoán các khung hình video trong tương lai để robot có thể đoán trước cảnh sẽ diễn ra như thế nào
Chuyển đổi bản đồ độ sâu hoặc phân đoạn thành video quang học để tăng cường dữ liệu thông qua Cosmos Transfer
Chính sách đào tạo trước cho robot trong thế giới mô phỏng trước khi triển khai sang phần cứng vật lý
Rủi ro & lan can
Thông báo ra mắt có thể vượt xa sự ổn định trong quy trình sản xuất thực tế.
Việc định giá API hoặc thay đổi chính sách có thể phá vỡ các giả định chỉ sau một đêm.
Sự phụ thuộc vào một nhà cung cấp làm tăng chi phí khóa và di chuyển.
Lộ trình thực hiện
Đánh giá các nhà cung cấp bằng cách sử dụng các nhiệm vụ và bộ dữ liệu của riêng bạn.
Xem lại các điều khoản về quyền riêng tư, bảo mật và pháp lý trước khi tích hợp.
Duy trì kế hoạch dự phòng giữa các mô hình hoặc nhà cung cấp.
Theo dõi ghi chú phát hành để những thay đổi về lộ trình không gây ngạc nhiên cho các nhóm.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the NVIDIA Cosmos World Foundation Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Mô hình nền tảng robot Skild AI
Câu hỏi thường gặp
What is NVIDIA Cosmos World Foundation Models?
NVIDIA Cosmos là một nhóm 'mô hình nền tảng thế giới' tạo ra và dự đoán video thực tế về mặt vật lý, được xây dựng để dạy cho robot và xe tự lái về thế giới thực. Về cơ bản, nó là một trình mô phỏng video nhận biết vật lý mà bạn có thể nhắc.
Mục đích chính của NVIDIA Cosmos là gì?
Cosmos là một nền tảng gồm các mô hình nền tảng thế giới dành cho AI vật lý — tạo ra video nhận biết vật lý để huấn luyện robot và phương tiện tự hành.
Công cụ mã thông báo video trong Cosmos làm gì?
Trình mã thông báo nén video có độ phân giải cao thành một tập hợp mã thông báo nhỏ, giúp việc đào tạo và chạy mô hình rẻ hơn trong khi vẫn bảo toàn cấu trúc.
Biến thể Cosmos nào tập trung vào việc dự đoán các khung hình video trong tương lai?
Cosmos Predict xử lý video và dự đoán khung hình tương lai; Transfer chuyển đổi dữ liệu đầu vào có cấu trúc thành video và Reason xử lý việc hiểu cảnh.
Tại sao các mô hình nền tảng thế giới lại có giá trị cho việc đào tạo xe tự lái?
Việc tạo ra các trường hợp biên tổng hợp rẻ hơn và an toàn hơn nhiều so với việc thu thập chúng trên đường thật, giúp đẩy nhanh quá trình đào tạo.
Cosmos được phát hành cho các nhà phát triển như thế nào?
NVIDIA đã phát hành các mô hình Cosmos theo giấy phép mở để các nhà phát triển có thể điều chỉnh chúng cho phù hợp với dữ liệu của riêng họ.