โมเดลมูลนิธิ NVIDIA Cosmos World
NVIDIA Cosmos คือกลุ่ม 'แบบจำลองพื้นฐานของโลก' ที่สร้างและทำนายวิดีโอที่สมจริงทางกายภาพ สร้างขึ้นเพื่อสอนหุ่นยนต์และรถยนต์ที่ขับเคลื่อนด้วยตนเองเกี่ยวกับโลกทางกายภาพ
ภาพรวม
It is essentially a physics-aware video simulator you can prompt.
เจาะลึก
NVIDIA Cosmos ประกาศในงาน CES 2025 เป็นแพลตฟอร์มของโมเดลพื้นฐานโลก (WFM) ที่มุ่งเป้าไปที่ AI ทางกายภาพ เช่น หุ่นยนต์ ยานพาหนะที่ขับเคลื่อนอัตโนมัติ และระบบอุตสาหกรรม แตกต่างจากเครื่องมือแปลงข้อความเป็นวิดีโอทั่วไปที่เน้นด้านความบันเทิง Cosmos ได้รับการฝึกอบรมเกี่ยวกับการขับขี่ หุ่นยนต์ และวิดีโอโต้ตอบทางกายภาพเป็นเวลาหลายล้านชั่วโมง เพื่อสร้างผลลัพธ์ที่คำนึงถึงความเป็นไปได้ทางกายภาพ ได้แก่ ความคงทนของวัตถุ การเคลื่อนไหว และความสม่ำเสมอของ 3 มิติ โดยมีจำหน่ายในรูปแบบต่างๆ เช่น Cosmos Predict (การทำนายเฟรมในอนาคตและวิดีโอ), Cosmos Transfer (การเปลี่ยนอินพุตที่มีโครงสร้าง เช่น แผนที่ความลึกหรือการแบ่งส่วนให้เป็นวิดีโอภาพถ่ายจริง) และ Cosmos Reason (แบบจำลองการให้เหตุผลสำหรับการทำความเข้าใจฉาก) โมเดลดังกล่าวได้รับการเผยแพร่ภายใต้ใบอนุญาตแบบเปิด ดังนั้นนักพัฒนาจึงสามารถปรับแต่งโมเดลเหล่านั้นโดยใช้ข้อมูลเซ็นเซอร์ของตนเองเพื่อสร้างสถานการณ์การฝึกอบรมสังเคราะห์ในวงกว้าง
ข้อมูลเชิงลึกทางเทคนิค
Cosmos รวมโทเค็นวิดีโอที่บีบอัดเฟรมที่มีความละเอียดสูงให้เป็นโทเค็นขนาดกะทัดรัดด้วยสถาปัตยกรรมหม้อแปลงทั้งแบบกระจายและแบบถอยอัตโนมัติที่คาดการณ์โทเค็นเหล่านั้นซึ่งกำหนดเงื่อนไขบนข้อความ รูปภาพ หรือเฟรมก่อนหน้า ระบบรั้วในตัวจะกรองเนื้อหาที่ไม่ปลอดภัย โทเค็นไนเซอร์คือเครื่องมือเพิ่มประสิทธิภาพหลัก โดยการแสดงวิดีโอเป็นโทเค็นชุดเล็กๆ ทำให้โมเดลสามารถฝึกฝนและเรียกใช้ได้ในราคาถูกกว่ามาก ขณะเดียวกันก็รักษาโครงสร้างเชิงพื้นที่และเชิงเวลาที่จำเป็นสำหรับความสมจริงทางกายภาพ
ผลกระทบเชิงกลยุทธ์
กลยุทธ์ของผู้ขาย
โรดแมปของผู้จำหน่ายมีอิทธิพลต่อฟีเจอร์ที่ทีมของคุณสามารถสร้างได้ต่อไป
ต้นทุนและงบประมาณ
ข้อกำหนดทางการค้าและตัวเลือกการใช้งานส่งผลต่อต้นทุนและความเสี่ยงในระยะยาว
ความเสี่ยงและความปลอดภัย
สิ่งจูงใจของบริษัทจะกำหนดค่าเริ่มต้นของผลิตภัณฑ์ ท่าทางที่ปลอดภัย และความเปิดกว้าง
อนาคตของโมเดลมูลนิธิ NVIDIA Cosmos World
คอสมอสชี้ให้เห็นถึงอนาคตที่ AI ทางกายภาพได้รับการฝึกฝนเป็นส่วนใหญ่ในโลกที่สร้างขึ้น แทนที่จะเป็นโลกจริงที่มีราคาแพงและช้า คาดหวังการผสานรวมที่เข้มงวดยิ่งขึ้นกับ NVIDIA Omniverse และ Isaac สำหรับการจำลองแบบวงปิด ควบคุมได้มากขึ้นและการสร้างวิดีโอที่ยาวนานขึ้น และการนำไปใช้เป็นกลไกข้อมูลสังเคราะห์สำหรับนักพัฒนายานยนต์อัตโนมัติและหุ่นยนต์ฮิวแมนนอยด์ เมื่อ WFM แบบเปิดได้รับการปรับปรุง คอขวดจะเปลี่ยนจากการรวบรวมภาพจริงไปเป็นการระบุสถานการณ์ 'edge case' ที่หายากที่คุณต้องการฝึกฝน
การใช้งานจริงในโลกแห่งความเป็นจริง
การสร้างสถานการณ์การขับขี่แบบสังเคราะห์ (อันตรายที่หายาก สภาพอากาศ แสงสว่าง) เพื่อฝึกระบบการรับรู้ในการขับขี่ด้วยตนเอง
คาดการณ์เฟรมวิดีโอในอนาคตเพื่อให้หุ่นยนต์สามารถคาดการณ์ได้ว่าฉากหนึ่งจะเผยออกมาอย่างไร
การแปลงแผนที่เชิงลึกหรือการแบ่งส่วนให้เป็นวิดีโอเสมือนจริงเพื่อเพิ่มข้อมูลผ่าน Cosmos Transfer
ฝึกอบรมนโยบายหุ่นยนต์ล่วงหน้าในโลกจำลองก่อนที่จะปรับใช้กับฮาร์ดแวร์กายภาพ
ความเสี่ยงและรั้ว
การประกาศเปิดตัวอาจแซงหน้าความเสถียรในขั้นตอนการทำงานจริง
การกำหนดราคา API หรือการเปลี่ยนแปลงนโยบายสามารถทำลายสมมติฐานได้ในชั่วข้ามคืน
การพึ่งพาผู้ขายรายเดียวจะเพิ่มค่าใช้จ่ายในการล็อคอินและการย้ายข้อมูล
แผนงานการดำเนินงาน
ประเมินผู้ให้บริการโดยใช้งานและชุดข้อมูลของคุณเอง
ตรวจสอบความเป็นส่วนตัว ความปลอดภัย และข้อกำหนดทางกฎหมายก่อนรวมระบบ
รักษาแผนสำรองสำหรับรุ่นหรือผู้จำหน่าย
ตรวจสอบบันทึกประจำรุ่นเพื่อให้การเปลี่ยนแปลงแผนงานไม่ทำให้ทีมแปลกใจ
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the NVIDIA Cosmos World Foundation Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
โมเดลพื้นฐานหุ่นยนต์ Skid AI
คำถามที่พบบ่อย
What is NVIDIA Cosmos World Foundation Models?
NVIDIA Cosmos คือกลุ่ม 'แบบจำลองพื้นฐานของโลก' ที่สร้างและทำนายวิดีโอที่สมจริงทางกายภาพ สร้างขึ้นเพื่อสอนหุ่นยนต์และรถยนต์ที่ขับเคลื่อนด้วยตนเองเกี่ยวกับโลกทางกายภาพ โดยพื้นฐานแล้วมันเป็นเครื่องจำลองวิดีโอที่คำนึงถึงฟิสิกส์ที่คุณสามารถแจ้งได้
วัตถุประสงค์หลักของ NVIDIA Cosmos คืออะไร?
Cosmos เป็นแพลตฟอร์มของแบบจำลองพื้นฐานของโลกสำหรับ AI ทางกายภาพ ซึ่งสร้างวิดีโอที่รับรู้ทางฟิสิกส์เพื่อฝึกหุ่นยนต์และยานพาหนะที่ขับเคลื่อนอัตโนมัติ
โทเค็นวิดีโอใน Cosmos ทำหน้าที่อะไร
โทเค็นไนเซอร์จะบีบอัดวิดีโอความละเอียดสูงให้เป็นโทเค็นชุดเล็กๆ ซึ่งทำให้โมเดลราคาถูกในการฝึกและรันโดยยังคงรักษาโครงสร้างไว้
ตัวแปร Cosmos ใดที่เน้นการทำนายเฟรมวิดีโอในอนาคต
Cosmos Predict จัดการวิดีโอและการทำนายเฟรมในอนาคต ถ่ายโอนจะแปลงอินพุตที่มีโครงสร้างเป็นวิดีโอ และเหตุผลจะจัดการความเข้าใจในฉาก
เหตุใดโมเดลรากฐานของโลกจึงมีคุณค่าสำหรับการฝึกอบรมยานยนต์ไร้คนขับ
การสร้างเคสขอบสังเคราะห์นั้นมีราคาถูกกว่าและปลอดภัยกว่าการสะสมบนถนนจริงมาก ซึ่งช่วยเร่งการฝึกอบรม
Cosmos เปิดตัวให้กับนักพัฒนาอย่างไร?
NVIDIA เปิดตัวโมเดล Cosmos ภายใต้ใบอนุญาตแบบเปิด เพื่อให้นักพัฒนาสามารถปรับให้เข้ากับข้อมูลของตนเองได้