Модели на NVIDIA Cosmos World Foundation
NVIDIA Cosmos е семейство от „основни модели на света“, които генерират и предвиждат физически реалистично видео, създадено да обучава роботи и самоуправляващи се автомобили за физическия свят.
Преглед
It is essentially a physics-aware video simulator you can prompt.
Дълбоко гмуркане
Обявена на CES 2025, NVIDIA Cosmos е платформа от генеративни световни модели (WFM), насочени към физически AI — роботи, автономни превозни средства и индустриални системи. За разлика от общите инструменти за текст към видео, фокусирани върху забавлението, Cosmos е обучен на милиони часове шофиране, роботика и видео с физическо взаимодействие, за да произвежда резултати, които зачитат физическата правдоподобност: постоянство на обекта, движение и 3D последователност. Доставя се във варианти като Cosmos Predict (предсказване на бъдещ кадър и видео), Cosmos Transfer (превръщане на структурирани входове като карти на дълбочина или сегментиране във фотореално видео) и Cosmos Reason (разсъждаващ модел за разбиране на сцени). Моделите се пускат под отворен лиценз, така че разработчиците да могат да ги настройват фино върху собствените си сензорни данни, за да генерират синтетични сценарии за обучение в мащаб.
Техническа информация
Cosmos съчетава видео токенизатор, който компресира кадри с висока разделителна способност в компактни токени с дифузионни и авторегресивни трансформаторни архитектури, които предвиждат тези токени в зависимост от текст, изображения или предишни кадри. Вградена система за парапети филтрира опасно съдържание. Токенизаторът е ключовият лост за ефективност: чрез представяне на видеото като малък набор от токени, моделите могат да бъдат обучени и да работят много по-евтино, като същевременно запазват пространствената и времевата структура, необходима за физически реализъм.
Стратегическо въздействие
Vendor strategy
Пътните карти на доставчиците влияят на това какви функции вашият екип може да изгради по-нататък.
Cost and budget
Търговските условия и опциите за внедряване влияят върху дългосрочните разходи и риск.
Risk and safety
Стимулите на компанията оформят продуктовите стандарти, безопасността и откритостта.
Бъдещето на моделите на NVIDIA Cosmos World Foundation
Cosmos сочи към бъдеще, в което физическият AI се обучава предимно в генерирани светове, а не в скъпия, бавен реален. Очаквайте по-тясна интеграция с NVIDIA Omniverse и Isaac за симулация със затворен цикъл, по-контролируемо и по-дълго видео генериране и приемане като двигател за синтетични данни за разработчици на автономни превозни средства и хуманоидни роботи. Тъй като отворените WFM се подобряват, пречките се изместват от събирането на реални кадри към уточняването на редките сценарии за „крайни случаи“, които искате да практикувате.
Внедряване в реалния свят
Генериране на синтетични сценарии за шофиране (редки опасности, време, осветление) за обучение на системи за възприемане на самостоятелно шофиране
Предсказване на бъдещи видеокадри, така че роботът да може да предвиди как ще се развие дадена сцена
Преобразуване на карти за дълбочина или сегментиране във фотореалистично видео за увеличаване на данните чрез Cosmos Transfer
Политики за предварително обучение на роботи в симулирани светове преди внедряване на физически хардуер
Рискове и предпазни огради
Съобщенията за стартиране може да изпреварят стабилността в реалните производствени работни процеси.
Ценообразуването на API или промените в политиката могат да разбият предположенията за една нощ.
Зависимостта от един доставчик увеличава разходите за заключване и миграция.
Пътна карта за изпълнение
Оценявайте доставчиците, като използвате вашите собствени задачи и набори от данни.
Прегледайте поверителността, сигурността и правните условия преди интегриране.
Поддържайте резервен план за модели или доставчици.
Наблюдавайте бележките по изданието, така че промените в пътната карта да не изненадват екипите.
Продължете да изследвате
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the NVIDIA Cosmos World Foundation Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Skild AI Robot Foundation Models
Frequently asked questions
What is NVIDIA Cosmos World Foundation Models?
NVIDIA Cosmos е семейство от „основни модели на света“, които генерират и предвиждат физически реалистично видео, създадено да обучава роботи и самоуправляващи се автомобили за физическия свят. По същество това е видео симулатор, запознат с физиката, който можете да подсказвате.
Каква е основната цел на NVIDIA Cosmos?
Cosmos е платформа от световни базови модели за физически AI — генериране на физично видео за обучение на роботи и автономни превозни средства.
Какво прави видео токенизаторът в Cosmos?
Токенизаторът компресира видео с висока разделителна способност в малък набор от токени, което прави моделите по-евтини за обучение и работа, като същевременно запазва структурата.
Кой вариант на Cosmos се фокусира върху предсказване на бъдещи видеокадри?
Cosmos Predict обработва видео и предвиждане на бъдещ кадър; Transfer преобразува структурираните входове във видео, а Reason обработва разбирането на сцената.
Защо моделите на световната основа са ценни за обучението на автономни превозни средства?
Генерирането на синтетични ръбове е далеч по-евтино и по-безопасно от събирането им на реални пътища, което ускорява обучението.
Как Cosmos беше пуснат на разработчиците?
NVIDIA пусна моделите Cosmos под отворен лиценз, така че разработчиците да могат да ги адаптират към собствените си данни.