สนามเพลน็อกเซลและวอกเซลเรเดียนซ์
Plenoxels แสดงให้เห็นว่าคุณสามารถสร้างฉาก 3D ขึ้นมาใหม่ด้วยผลลัพธ์คุณภาพ NeRF โดยไม่ต้องใช้โครงข่ายประสาทเทียมใดๆ เลย เป็นเพียงตารางของ voxels ที่จัดเก็บสีและความหนาแน่น
ภาพรวม
The result trains roughly 100x faster than the original NeRF while matching its visual quality.
เจาะลึก
NeRF บรรลุผลเสมือนจริงแต่ช้าเพราะทุกตัวอย่างต้องมีการส่งต่อผ่านโครงข่ายประสาทเทียมระดับลึก และการฝึกอบรมอาจใช้เวลาหลายชั่วโมงหรือหลายวัน Plenoxels (Sara Fridovich-Keil, Alex Yu et al., 2022) ถามคำถามเร้าใจ: เครือข่ายจำเป็นด้วยหรือไม่? คำตอบของพวกเขาคือไม่ พวกเขานำเสนอฉากเป็นตาราง voxel 3D แบบกระจัดกระจาย วอกเซลที่ถูกครอบครองแต่ละตัวจะเก็บค่าความทึบเดียวบวกกับค่าสัมประสิทธิ์ฮาร์มอนิกทรงกลมที่เข้ารหัสสีที่ขึ้นกับมุมมอง ในการเรนเดอร์พิกเซล ระบบจะประมาณค่าเหล่านี้แบบไตรลิเนียร์ตามรังสีและรวมเข้ากับการเรนเดอร์ปริมาตรมาตรฐาน เนื่องจากไม่มีเครือข่าย ทุกอย่างจึงได้รับการปรับให้เหมาะสมโดยตรงด้วยการไล่ระดับลงมาบนค่าว็อกเซล ซึ่งปรับให้เป็นมาตรฐานเพื่อความราบรื่น ผลลัพธ์พาดหัว: คุณภาพเทียบเท่ากับ NeRF ฝึกฝนได้ภายในไม่กี่นาทีบน GPU ตัวเดียว
ข้อมูลเชิงลึกทางเทคนิค
สีที่ขึ้นกับมุมมองเป็นส่วนที่ชาญฉลาด แทนที่จะให้เครือข่ายส่งสัญญาณ RGB ต่อมุมมอง แต่ละว็อกเซลจะเก็บชุดค่าสัมประสิทธิ์ฮาร์มอนิกทรงกลม (SH) ชุดเล็กๆ ต่อช่องสี การประเมินพื้นฐาน SH ในทิศทางของรังสีจะสร้างการเปลี่ยนแปลงสีของจุดนั้นตามมุมมองขึ้นมาใหม่ โดยจับภาพไฮไลท์และการสะท้อนแบบ specular ความทึบไม่ขึ้นกับทิศทาง การประมาณค่าแบบไตรลิเนียร์ที่สามารถหาความแตกต่างได้บวกกับการเรนเดอร์ปริมาตรทำให้ค่า voxel ทุกค่าสามารถฝึกได้โดยตรง ดังนั้นการปรับให้เหมาะสมจึงมีความพอดีแบบสี่เหลี่ยมจัตุรัสน้อยที่สุดที่ตรงไปตรงมาและไร้เครือข่าย
ผลกระทบเชิงกลยุทธ์
ความเร็วและขนาด
Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ
สร้างทางเลือก
ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง
ทีมงานและขั้นตอนการทำงาน
การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก
อนาคตของสนาม Plenoxels และ Voxel Radiance
Plenoxels พิสูจน์ให้เห็นว่าการนำเสนอ (ไม่ใช่โครงข่ายประสาทเทียม) เป็นตัวขับเคลื่อนคุณภาพของ NeRF ซึ่งเป็นการค้นพบที่เปลี่ยนโฉมหน้าสนาม โดยเป็นแรงบันดาลใจโดยตรงต่อวิธีการที่ชัดเจนและแบบผสมผสาน เช่น ตารางแฮชของ Instant-NGP และท้ายที่สุดคือ 3D Gaussian Splatting ซึ่งปัจจุบันครองการเรนเดอร์ Radiance แบบเรียลไทม์ คาดหวังการเคลื่อนไหวอย่างต่อเนื่องไปสู่แบบดั้งเดิมที่ชัดเจนและเป็นมิตรกับ GPU ซึ่งฝึกฝนในไม่กี่วินาทีและเรนเดอร์แบบเรียลไทม์ โดยมีโครงข่ายประสาทเทียมที่ใช้แบบคัดเลือกแทนที่จะเป็นที่เก็บฉากหลัก
การใช้งานจริงในโลกแห่งความเป็นจริง
สร้างวัตถุที่บันทึกไว้ใหม่อย่างรวดเร็วเป็นเนื้อหา 3 มิติภายในไม่กี่นาทีสำหรับอีคอมเมิร์ซหรือการแปลงเป็นดิจิทัลในพิพิธภัณฑ์ แทนที่จะต้องรอเป็นชั่วโมง
การสร้างต้นแบบอย่างรวดเร็วของการสังเคราะห์มุมมองใหม่บน GPU สำหรับผู้บริโภคเพียงตัวเดียวสำหรับการวิจัยและการศึกษา
การสร้างฉาก voxel ที่สามารถแก้ไขได้และชัดเจน ซึ่งศิลปินสามารถตรวจสอบและตัดได้โดยตรง ไม่เหมือนกับการถ่วงน้ำหนักเครือข่ายแบบทึบ
เป็นตัวอย่างการสอนว่าการนำเสนอฉาก ไม่ใช่การเรียนรู้เชิงลึก เป็นสิ่งที่ให้ผลลัพธ์ที่สมจริงเหมือนภาพถ่าย
ความเสี่ยงและรั้ว
สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน
ประสิทธิภาพของโมเดลอาจแตกต่างกันไปตามสภาพแสง ข้อมูลประชากร และสภาพแวดล้อม
ผลบวกลวงอาจไม่สังเกตเห็นเว้นแต่จะมีการตรวจสอบเกณฑ์ความเชื่อมั่น
แผนงานการดำเนินงาน
กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด
ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง
เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง
ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Plenoxels and Voxel Radiance Fields quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
สนามรังสีประสาท
คำถามที่พบบ่อย
What is Plenoxels and Voxel Radiance Fields?
Plenoxels แสดงให้เห็นว่าคุณสามารถสร้างฉาก 3D ขึ้นมาใหม่ด้วยผลลัพธ์คุณภาพ NeRF โดยไม่ต้องใช้โครงข่ายประสาทเทียมใดๆ เลย เป็นเพียงตารางของ voxels ที่จัดเก็บสีและความหนาแน่น ผลลัพธ์จะฝึกได้เร็วกว่า NeRF ดั้งเดิมประมาณ 100 เท่า ในขณะเดียวกันก็รักษาคุณภาพของภาพไว้ด้วย
อะไรคือตัวเลือกการออกแบบที่น่าประหลาดใจที่สุดใน Plenoxels เมื่อเปรียบเทียบกับ NeRF?
Plenoxels จัดเก็บฉากโดยตรงในตาราง voxel และปรับค่าเหล่านั้นให้เหมาะสม โดยไม่มีโครงข่ายประสาทเทียมในไปป์ไลน์
แต่ละ voxel ที่ถูกครอบครองใน Plenoxels เก็บอะไรเพื่อจับภาพสีที่ขึ้นกับมุมมอง
แต่ละวอกเซลมีความทึบบวกกับค่าสัมประสิทธิ์ฮาร์มอนิกทรงกลมต่อช่องสี ซึ่งเข้ารหัสการเปลี่ยนแปลงของสีตามทิศทางการรับชม
Plenoxels ฝึกได้เร็วกว่าประมาณเท่าใดเมื่อเทียบกับ NeRF ดั้งเดิม
ด้วยการกำจัดการส่งผ่านเครือข่ายต่อตัวอย่าง Plenoxels จึงฝึกฝนได้เร็วขึ้น 100 เท่า และเสร็จสิ้นภายในไม่กี่นาที
ค่าที่ดึงมาจากตาราง voxel ตามแนวรังสีเป็นอย่างไร
Plenoxels ใช้การประมาณค่าแบบไตรลิเนียร์ที่สามารถหาความแตกต่างได้เพื่ออ่านสีและความทึบระหว่างจุดศูนย์กลาง voxel ได้อย่างราบรื่น
Plenoxels แสดงให้เห็นข้อสรุปที่กว้างกว่าอะไรในสนามนี้?
ด้วยการจับคู่คุณภาพ NeRF โดยไม่มีเครือข่าย Plenoxels แสดงให้เห็นว่าการนำเสนอและการเพิ่มประสิทธิภาพ ไม่ใช่ MLP เป็นผู้รับผิดชอบต่อผลลัพธ์