การสาดแบบเกาส์เซียน
Gaussian Splatting นำเสนอฉาก 3 มิติโดยเป็นหยดสีเล็กๆ กึ่งโปร่งใสนับล้านที่สามารถเรนเดอร์แบบเรียลไทม์
ภาพรวม
It delivers NeRF-like photorealism while running fast enough for interactive viewing.
เจาะลึก
เปิดตัวที่ SIGGRAPH 2023, 3D Gaussian Splatting สร้างฉากขึ้นมาใหม่จากภาพถ่ายเช่น NeRF แต่ใช้การนำเสนอที่ชัดเจนแทนโครงข่ายประสาทเทียมที่ซ่อนอยู่ แต่ละฉากคือก้อนเมฆของเกาส์เซียน 3 มิติ หยดทรงรีฟัซซี่ และแต่ละหยดจะเก็บตำแหน่ง ขนาด และการวางแนว (ความแปรปรวนร่วม) ความทึบ และสี แทนที่จะยิงรังสีผ่านเครือข่ายอย่างช้าๆ วิธีการจะ "กระจาย" หยดเหล่านี้ลงบนหน้าจอโดยตรงแล้วผสมเข้าด้วยกัน ซึ่งเป็นกระบวนการที่ใกล้เคียงกับการแรสเตอร์แบบดั้งเดิมและรวดเร็วมาก การฝึกอบรมเริ่มต้นจากเมฆจุดกระจัดกระจายที่เกิดจากการปรับเทียบกล้อง จากนั้นปรับแต่งหยดในขณะที่เพิ่มรายละเอียดเมื่อฉากยังสร้างไม่เสร็จและตัดส่วนที่มีประชากรมากเกินไป ผลลัพธ์ที่ได้คือการเรนเดอร์แบบเรียลไทม์ที่ 1080p ด้วยคุณภาพที่ทัดเทียม NeRF ที่ดีที่สุด ซึ่งเป็นเหตุผลว่าทำไมจึงแพร่กระจายอย่างรวดเร็วผ่านกราฟิกและเครื่องมือจับภาพ
ข้อมูลเชิงลึกทางเทคนิค
สิ่งสำคัญคือแรสเตอร์ไรเซอร์แบบไทล์ที่สร้างความแตกต่างได้ 3D Gaussians ได้รับการฉายภาพเป็นแบบ 2D จัดเรียงตามความลึก และผสมอัลฟ่าต่อไทล์หน้าจอ ดังนั้นการเรนเดอร์จะหลีกเลี่ยงการเคลื่อนเรย์ต่อพิกเซลที่ทำให้ NeRF ทำงานช้า สีจะถูกจัดเก็บด้วยฮาร์โมนิคทรงกลม โดยปล่อยให้แต่ละหยดเปลี่ยนลักษณะตามมุมมองเพื่อจับภาพการสะท้อน เนื่องจากไปป์ไลน์ทั้งหมดนั้นสร้างความแตกต่างได้ การไล่ระดับสีแบบไล่ระดับการจับคู่ภาพถ่ายแบบเดียวกับที่ใช้โดย NeRF จะปรับตำแหน่งหยด รูปร่าง ความทึบ และสีให้เหมาะสม ในขณะที่ขั้นตอนการทำให้หนาแน่นขึ้นหรือแยก Gaussians เพื่อเพิ่มรายละเอียดที่ขาดหายไป
ผลกระทบเชิงกลยุทธ์
ความเร็วและขนาด
Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ
สร้างทางเลือก
ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง
ทีมงานและขั้นตอนการทำงาน
การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก
อนาคตของการสาดแบบเกาส์เซียน
Gaussian Splatting ก้าวไปอย่างรวดเร็วจากการวิจัยผลิตภัณฑ์สำหรับการจับภาพ 3 มิติ การทำแผนที่ และการผลิตเสมือนจริง ส่วนหนึ่งเป็นเพราะการเรนเดอร์แบบเรียลไทม์บน GPU สำหรับผู้บริโภคและแม้แต่เบราว์เซอร์ เป้าหมายการทำงานที่ใช้งานอยู่คือการลดขนาดไฟล์ (ฉากอาจมีขนาดใหญ่) การจัดการฉากไดนามิกและแอนิเมชั่น การปรับแสงใหม่ และการแก้ไขวัตถุแต่ละรายการ คาดหวังการผสานรวมที่แนบแน่นยิ่งขึ้นกับเอ็นจิ้นเกมและ AR/VR วิธีการแบบไฮบริดที่รวมแถบสีเข้ากับตาข่าย และการจับภาพจากวิดีโอในโทรศัพท์ มันถูกมองว่าเป็นส่วนเสริมหรือทดแทน NeRF ในทางปฏิบัติมากขึ้นในทุกที่ที่ความเร็วการโต้ตอบมีความสำคัญ
การใช้งานจริงในโลกแห่งความเป็นจริง
การสร้างภาพห้องหรือผลิตภัณฑ์ 3 มิติแบบเรียลไทม์ที่สามารถสำรวจได้สำหรับเว็บ
การผลิตเสมือนจริงและการแสดงภาพยนตร์ล่วงหน้าด้วยฉากที่สมจริงเหมือนภาพถ่ายและนำทางได้
การสแกนวัตถุและสภาพแวดล้อมแบบ 3 มิติอย่างรวดเร็วจากโทรศัพท์หรือวิดีโอจากโดรน
การสร้างฉาก AR/VR แบบโต้ตอบที่ทำงานได้อย่างราบรื่นบนฮาร์ดแวร์ของผู้บริโภค
ความเสี่ยงและรั้ว
สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน
ประสิทธิภาพของโมเดลอาจแตกต่างกันไปตามสภาพแสง ข้อมูลประชากร และสภาพแวดล้อม
ผลบวกลวงอาจไม่สังเกตเห็นเว้นแต่จะมีการตรวจสอบเกณฑ์ความเชื่อมั่น
แผนงานการดำเนินงาน
กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด
ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง
เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง
ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Gaussian Splatting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
กระบวนการเกาส์เซียน
คำถามที่พบบ่อย
What is Gaussian Splatting?
Gaussian Splatting นำเสนอฉาก 3 มิติโดยเป็นหยดสีเล็กๆ กึ่งโปร่งใสนับล้านที่สามารถเรนเดอร์แบบเรียลไทม์ มันให้ความสมจริงเหมือนแสง NeRF ในขณะที่ทำงานเร็วเพียงพอสำหรับการรับชมแบบโต้ตอบ
Gaussian Splatting นำเสนอฉาก 3 มิติได้อย่างไร
ฉากนี้เป็นก้อนเมฆที่ชัดเจนของ 3D Gaussians ซึ่งแต่ละก้อนเป็นรูปวงรีคลุมเครือซึ่งมีตำแหน่ง รูปร่าง ความทึบ และสี
เหตุใด Gaussian Splatting จึงเรนเดอร์ได้เร็วกว่า NeRF ดั้งเดิมมาก
การฉายภาพและการผสม blobs ผ่านการแรสเตอร์แบบไทล์จะช่วยหลีกเลี่ยงการเคลื่อนเรย์ต่อพิกเซลที่ช้าของ NeRF ทำให้เกิดความเร็วแบบเรียลไทม์
3D Gaussian แต่ละแห่งเก็บข้อมูลอะไรบ้าง
แต่ละหยดจะมีตำแหน่ง ความแปรปรวนร่วม (ขนาดและการวางแนว) ความทึบ และข้อมูลสี
อะไรถูกใช้เพื่อให้สีของหยดเปลี่ยนไปตามมุมมอง
สีจะถูกเข้ารหัสด้วยฮาร์โมนิคทรงกลม ดังนั้นเกาส์เซียนแต่ละตัวจึงสามารถปรากฏแตกต่างกันไปในทิศทางที่ต่างกัน เพื่อจับภาพการสะท้อน
โดยทั่วไปการฝึกแบบ Gaussian Splatting เริ่มต้นอย่างไร
โดยเริ่มต้นด้วยจุดกระจัดกระจายจากการปรับเทียบกล้องที่มีโครงสร้างจากการเคลื่อนไหว จากนั้นจึงปรับ Gaussians จากจุดนั้นให้เหมาะสม