คู่มือ AI แบบเห็นภาพ

การเข้ารหัสแฮช NGP ทันที

Instant-NGP เป็นเทคนิคของ NVIDIA ที่ฝึกฝน Neural Radiance Fields และกราฟิกประสาทอื่นๆ ในเวลาไม่กี่วินาที แทนที่จะเป็นชั่วโมง โดยจัดเก็บคุณสมบัติที่เรียนรู้ได้ในตารางแฮชแบบหลายความละเอียด

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของการเข้ารหัสแฮช NGP ทันที
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

สิ่งสำคัญเพราะมันทำให้การจับภาพฉาก 3D คุณภาพสูงรวดเร็วพอที่จะให้ความรู้สึกเกือบจะโต้ตอบได้

เจาะลึก

Instant Neural Graphics Primitives (NVIDIA, 2022) โจมตีคอขวดหลักของ NeRF นั่นคือ MLP ขนาดใหญ่ที่ต้องสอบถามหลายล้านครั้ง แทนที่จะเข้ารหัสตำแหน่ง 3 มิติด้วยคุณสมบัติไซน์ซอยด์คงที่และอาศัยเครือข่ายขนาดใหญ่ Instant-NGP ใช้การเข้ารหัสแฮชแบบหลายความละเอียด พื้นที่ถูกปกคลุมไปด้วยกริดหลายอันที่มีความละเอียดต่างกัน แต่ละเซลล์กริดจะแมปผ่านฟังก์ชันแฮชเชิงพื้นที่ ลงในตารางขนาดกะทัดรัดของเวกเตอร์ฟีเจอร์ที่สามารถเรียนรู้ได้ ในการเข้ารหัสจุด ระบบจะค้นหาและประมาณค่าคุณสมบัติต่างๆ จากแต่ละระดับความละเอียดแบบไตรลิเนียร์ เชื่อมต่อเข้าด้วยกัน และป้อนคุณสมบัตินั้นลงใน MLP เล็กๆ เนื่องจากการนำเสนอที่เรียนรู้ส่วนใหญ่อยู่ในตารางการค้นหาและมีเพียงเครือข่ายขนาดเล็กเท่านั้นที่ยังคงอยู่ การฝึกอบรมและการเรนเดอร์จึงกลายเป็นลำดับความสำคัญได้เร็วขึ้น โดยมักจะเปลี่ยนชั่วโมงเป็นวินาที

การใช้งานจริงในโลกแห่งความเป็นจริง

จับภาพวัตถุจริงหรือห้องลงใน NeRF ภายในไม่กี่วินาทีจากชุดภาพถ่ายในโทรศัพท์

การติดตั้งฟังก์ชันระยะที่ลงนามด้วยระบบประสาทเพื่อการแสดงรูปร่าง 3 มิติที่รวดเร็ว

การบีบอัดและแสดงภาพระดับกิกะพิกเซลเป็นสนามประสาทต่อเนื่อง

ขับเคลื่อนการสร้างฉากใหม่อย่างรวดเร็วภายในชุดเครื่องมือวิจัยและการสร้างภาพล่วงหน้า VFX

อนาคตของการเข้ารหัสแฮช NGP ทันที

การเข้ารหัสแบบ Hash-grid ได้กลายเป็นองค์ประกอบเริ่มต้นที่นอกเหนือไปจากการสาธิต NeRF ดั้งเดิม ซึ่งใช้ในการสังเคราะห์มุมมองแบบเรียลไทม์ การปรับ SDF และการปรับภาพระดับกิกะพิกเซล การจำลอง และเป็นกระดูกสันหลังของชุดเครื่องมือเช่น Nerfstudio ในขณะที่ Gaussian Splatting แข่งขันกันด้วยความเร็วการเรนเดอร์แบบ Raw การเข้ารหัสแฮชยังคงเป็นจุดศูนย์กลางที่จำเป็นต้องมีสนามประสาทที่มีขนาดกะทัดรัด ราบรื่น และสามารถตรวจสอบได้ และงานที่กำลังดำเนินอยู่จะผสมผสานทั้งสองอย่างเข้าด้วยกันและผลักดันไปสู่ฉากที่ใหญ่ขึ้น ไดนามิก และสามารถสตรีมได้

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ความเร็วและขนาด. Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ
  • สร้างทางเลือก. ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง
  • ทีมงานและขั้นตอนการทำงาน. การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก

ระวัง

  • สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน
  • ประสิทธิภาพของโมเดลอาจแตกต่างกันไปตามสภาพแสง ข้อมูลประชากร และสภาพแวดล้อม
  • ผลบวกลวงอาจไม่สังเกตเห็นเว้นแต่จะมีการตรวจสอบเกณฑ์ความเชื่อมั่น

ขั้นตอนต่อไป

  1. กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด
  2. ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง
  3. เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง
  4. ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Instant-NGP Hash Encoding quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

การเข้ารหัสแฮช NGP ทันทีคืออะไร

Instant-NGP เป็นเทคนิคของ NVIDIA ที่ฝึกฝน Neural Radiance Fields และกราฟิกประสาทอื่นๆ ในเวลาไม่กี่วินาที แทนที่จะเป็นชั่วโมง โดยจัดเก็บคุณสมบัติที่เรียนรู้ได้ในตารางแฮชแบบหลายความละเอียด สิ่งสำคัญเพราะมันทำให้การจับภาพฉาก 3D คุณภาพสูงรวดเร็วพอที่จะให้ความรู้สึกเกือบจะโต้ตอบได้

อะไรคือปัญหาคอขวดหลักของ NeRF แบบคลาสสิกที่ Instant-NGP กำหนดเป้าหมาย

NeRF แบบคลาสสิกอาศัย MLP ขนาดใหญ่ที่มีการสอบถามบ่อยครั้งมหาศาล Instant-NGP ย่อขนาดที่ทำงานเพื่อเร่งการฝึกอบรมและการเรนเดอร์

Instant-NGP เก็บพารามิเตอร์ที่สามารถเรียนรู้ได้ส่วนใหญ่ไว้ที่ไหน

คุณลักษณะที่เรียนรู้ได้จะอยู่ในตารางแฮชแบบหลายความละเอียด เหลือเพียง MLP เล็กๆ เท่านั้นที่จะรวมคุณลักษณะที่ค้นหาเข้าด้วยกัน

คุณสมบัติต่างๆ ถูกรวมเข้าด้วยกันในระดับความละเอียดหลายระดับอย่างไร

คุณลักษณะของแต่ละระดับมีการสอดแทรกแบบไตรลิเนียร์และต่อเข้าด้วยกันก่อนที่จะส่งต่อไปยัง MLP ขนาดเล็ก

Instant-NGP จัดการกับการชนกันของแฮชในตารางความละเอียดสูงอย่างไร

อนุญาตให้มีการชนกันได้ ภูมิภาคที่มีความหนาแน่นสูงจะสร้างการไล่ระดับสีที่แข็งแกร่งขึ้น ดังนั้น MLP ขนาดเล็กและการเพิ่มประสิทธิภาพจึงเรียนรู้ที่จะแก้ไขช่องที่ใช้ร่วมกัน

Instant-NGP จะเร่งความเร็วการฝึกอบรม NeRF ได้ประมาณเท่าใด

ด้วยการย้ายการเป็นตัวแทนลงในตารางแฮชและลดขนาด MLP การฝึกอบรมที่ใช้เวลาหลายชั่วโมงสามารถเสร็จสิ้นได้ภายในไม่กี่วินาที

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →