คู่มือ AI แบบเห็นภาพ
การเข้ารหัสแฮช NGP ทันที
Instant-NGP เป็นเทคนิคของ NVIDIA ที่ฝึกฝน Neural Radiance Fields และกราฟิกประสาทอื่นๆ ในเวลาไม่กี่วินาที แทนที่จะเป็นชั่วโมง โดยจัดเก็บคุณสมบัติที่เรียนรู้ได้ในตารางแฮชแบบหลายความละเอียด
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
บนหน้านี้อ่าน 2 นาที
ภาพรวม
สิ่งสำคัญเพราะมันทำให้การจับภาพฉาก 3D คุณภาพสูงรวดเร็วพอที่จะให้ความรู้สึกเกือบจะโต้ตอบได้
เจาะลึก
Instant Neural Graphics Primitives (NVIDIA, 2022) โจมตีคอขวดหลักของ NeRF นั่นคือ MLP ขนาดใหญ่ที่ต้องสอบถามหลายล้านครั้ง แทนที่จะเข้ารหัสตำแหน่ง 3 มิติด้วยคุณสมบัติไซน์ซอยด์คงที่และอาศัยเครือข่ายขนาดใหญ่ Instant-NGP ใช้การเข้ารหัสแฮชแบบหลายความละเอียด พื้นที่ถูกปกคลุมไปด้วยกริดหลายอันที่มีความละเอียดต่างกัน แต่ละเซลล์กริดจะแมปผ่านฟังก์ชันแฮชเชิงพื้นที่ ลงในตารางขนาดกะทัดรัดของเวกเตอร์ฟีเจอร์ที่สามารถเรียนรู้ได้ ในการเข้ารหัสจุด ระบบจะค้นหาและประมาณค่าคุณสมบัติต่างๆ จากแต่ละระดับความละเอียดแบบไตรลิเนียร์ เชื่อมต่อเข้าด้วยกัน และป้อนคุณสมบัตินั้นลงใน MLP เล็กๆ เนื่องจากการนำเสนอที่เรียนรู้ส่วนใหญ่อยู่ในตารางการค้นหาและมีเพียงเครือข่ายขนาดเล็กเท่านั้นที่ยังคงอยู่ การฝึกอบรมและการเรนเดอร์จึงกลายเป็นลำดับความสำคัญได้เร็วขึ้น โดยมักจะเปลี่ยนชั่วโมงเป็นวินาที
การใช้งานจริงในโลกแห่งความเป็นจริง
จับภาพวัตถุจริงหรือห้องลงใน NeRF ภายในไม่กี่วินาทีจากชุดภาพถ่ายในโทรศัพท์
การติดตั้งฟังก์ชันระยะที่ลงนามด้วยระบบประสาทเพื่อการแสดงรูปร่าง 3 มิติที่รวดเร็ว
การบีบอัดและแสดงภาพระดับกิกะพิกเซลเป็นสนามประสาทต่อเนื่อง
ขับเคลื่อนการสร้างฉากใหม่อย่างรวดเร็วภายในชุดเครื่องมือวิจัยและการสร้างภาพล่วงหน้า VFX
อนาคตของการเข้ารหัสแฮช NGP ทันที
การเข้ารหัสแบบ Hash-grid ได้กลายเป็นองค์ประกอบเริ่มต้นที่นอกเหนือไปจากการสาธิต NeRF ดั้งเดิม ซึ่งใช้ในการสังเคราะห์มุมมองแบบเรียลไทม์ การปรับ SDF และการปรับภาพระดับกิกะพิกเซล การจำลอง และเป็นกระดูกสันหลังของชุดเครื่องมือเช่น Nerfstudio ในขณะที่ Gaussian Splatting แข่งขันกันด้วยความเร็วการเรนเดอร์แบบ Raw การเข้ารหัสแฮชยังคงเป็นจุดศูนย์กลางที่จำเป็นต้องมีสนามประสาทที่มีขนาดกะทัดรัด ราบรื่น และสามารถตรวจสอบได้ และงานที่กำลังดำเนินอยู่จะผสมผสานทั้งสองอย่างเข้าด้วยกันและผลักดันไปสู่ฉากที่ใหญ่ขึ้น ไดนามิก และสามารถสตรีมได้
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- ความเร็วและขนาด. Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ
- สร้างทางเลือก. ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง
- ทีมงานและขั้นตอนการทำงาน. การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก
ระวัง
- สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน
- ประสิทธิภาพของโมเดลอาจแตกต่างกันไปตามสภาพแสง ข้อมูลประชากร และสภาพแวดล้อม
- ผลบวกลวงอาจไม่สังเกตเห็นเว้นแต่จะมีการตรวจสอบเกณฑ์ความเชื่อมั่น
ขั้นตอนต่อไป
- กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด
- ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง
- เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง
- ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
Take the Instant-NGP Hash Encoding quiz
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
การเข้ารหัสแฮช NGP ทันทีคืออะไร
Instant-NGP เป็นเทคนิคของ NVIDIA ที่ฝึกฝน Neural Radiance Fields และกราฟิกประสาทอื่นๆ ในเวลาไม่กี่วินาที แทนที่จะเป็นชั่วโมง โดยจัดเก็บคุณสมบัติที่เรียนรู้ได้ในตารางแฮชแบบหลายความละเอียด สิ่งสำคัญเพราะมันทำให้การจับภาพฉาก 3D คุณภาพสูงรวดเร็วพอที่จะให้ความรู้สึกเกือบจะโต้ตอบได้
อะไรคือปัญหาคอขวดหลักของ NeRF แบบคลาสสิกที่ Instant-NGP กำหนดเป้าหมาย
NeRF แบบคลาสสิกอาศัย MLP ขนาดใหญ่ที่มีการสอบถามบ่อยครั้งมหาศาล Instant-NGP ย่อขนาดที่ทำงานเพื่อเร่งการฝึกอบรมและการเรนเดอร์
Instant-NGP เก็บพารามิเตอร์ที่สามารถเรียนรู้ได้ส่วนใหญ่ไว้ที่ไหน
คุณลักษณะที่เรียนรู้ได้จะอยู่ในตารางแฮชแบบหลายความละเอียด เหลือเพียง MLP เล็กๆ เท่านั้นที่จะรวมคุณลักษณะที่ค้นหาเข้าด้วยกัน
คุณสมบัติต่างๆ ถูกรวมเข้าด้วยกันในระดับความละเอียดหลายระดับอย่างไร
คุณลักษณะของแต่ละระดับมีการสอดแทรกแบบไตรลิเนียร์และต่อเข้าด้วยกันก่อนที่จะส่งต่อไปยัง MLP ขนาดเล็ก
Instant-NGP จัดการกับการชนกันของแฮชในตารางความละเอียดสูงอย่างไร
อนุญาตให้มีการชนกันได้ ภูมิภาคที่มีความหนาแน่นสูงจะสร้างการไล่ระดับสีที่แข็งแกร่งขึ้น ดังนั้น MLP ขนาดเล็กและการเพิ่มประสิทธิภาพจึงเรียนรู้ที่จะแก้ไขช่องที่ใช้ร่วมกัน
Instant-NGP จะเร่งความเร็วการฝึกอบรม NeRF ได้ประมาณเท่าใด
ด้วยการย้ายการเป็นตัวแทนลงในตารางแฮชและลดขนาด MLP การฝึกอบรมที่ใช้เวลาหลายชั่วโมงสามารถเสร็จสิ้นได้ภายในไม่กี่วินาที
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้