สนามรังสีประสาท
Neural Radiance Fields (NeRF) สร้างฉาก 3D ขึ้นมาใหม่จากภาพถ่ายธรรมดาจำนวนหนึ่ง ช่วยให้คุณสามารถบินกล้องไปยังมุมมองใหม่เอี่ยม
ภาพรวม
It reframed 3D capture as training a tiny neural network rather than building a mesh.
เจาะลึก
NeRF เปิดตัวในปี 2020 โดย Mildenhall และเพื่อนร่วมงาน โดยจะจัดเก็บฉากทั้งหมดไว้ภายในโครงข่ายประสาทเทียมขนาดเล็ก (perceptron หลายชั้น) เมื่อพิจารณาจากจุด 3 มิติและทิศทางการรับชม เครือข่ายจะแสดงสีของจุดนั้นและระดับความทึบของจุดนั้น ในการเรนเดอร์พิกเซล NeRF ยิงรังสีเข้าไปในฉาก ตัวอย่างชี้ไปตามนั้น ค้นหาเครือข่าย และผสมผสานผลลัพธ์โดยใช้การเรนเดอร์ระดับเสียง เนื่องจากกระบวนการทั้งหมดนี้สร้างความแตกต่างได้ เครือข่ายจึงได้รับการฝึกฝนโดยการเปรียบเทียบพิกเซลที่เรนเดอร์กับภาพถ่ายอินพุตจริง และปรับจนกว่าจะตรงกัน ผลตอบแทนที่ได้คือความสมจริงของภาพถ่ายที่น่าทึ่ง รวมถึงเอฟเฟกต์ที่ขึ้นอยู่กับมุมมอง เช่น ภาพสะท้อนและไฮไลท์มันเงาที่เปลี่ยนแปลงเมื่อคุณเคลื่อนไหว ข้อเสียคือแต่ละฉากต้องมีการฝึกซ้อมของตัวเอง และวิธีการเดิมนั้นช้าทั้งในการฝึกฝนและการเรนเดอร์
ข้อมูลเชิงลึกทางเทคนิค
NeRF แสดงฉากเป็นฟังก์ชัน 5D ต่อเนื่อง โดยป้อนตำแหน่ง (x, y, z) บวกทิศทางการรับชม (สองมุม) จากนั้น MLP จะส่งกลับสี RGB และความหนาแน่นของปริมาตร รายละเอียดที่สำคัญคือการเข้ารหัสตำแหน่ง ซึ่งแมปพิกัดผ่านฟังก์ชันไซน์และโคไซน์ความถี่สูง เพื่อให้เครือข่ายสามารถจับรายละเอียดที่คมชัดแทนที่จะสร้างเอาต์พุตที่พร่ามัว การเรนเดอร์จะรวมสีและความหนาแน่นไปตามรังสีของกล้องแต่ละอัน โดยให้น้ำหนักตัวอย่างที่ใกล้กว่าและทึบแสงมากขึ้น ซึ่งตรงกับการคำนวณของการเรนเดอร์แบบคลาสสิกที่ทำให้สามารถฝึกได้
ผลกระทบเชิงกลยุทธ์
ความเร็วและขนาด
Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ
สร้างทางเลือก
ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง
ทีมงานและขั้นตอนการทำงาน
การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก
อนาคตของสนามรังสีประสาท
การวิจัยของ NeRF ระเบิดขึ้นหลังปี 2020 โดยมีการติดตามผล เช่น การฝึกตัด Instant-NGP จากชั่วโมงเป็นวินาทีโดยใช้การเข้ารหัสแฮชกริด และ Mip-NeRF ปรับปรุงคุณภาพในทุกระดับ สนามกำลังผสานหรือถูกท้าทายโดย Gaussian Splatting มากขึ้นเรื่อยๆ ซึ่งจะทำให้แสดงผลเร็วขึ้น คาดหวังเทคนิคที่ได้จาก NeRF ในการทำแผนที่ การดูผลิตภัณฑ์อีคอมเมิร์ซ เอฟเฟกต์ภาพจากภาพยนตร์ และ AR/VR รวมถึงการเติบโตของ NeRF แบบไดนามิกที่จัดการกับฉากที่เคลื่อนไหวและการถ่ายภาพ "ในป่า" ด้วยแสงที่เปลี่ยนแปลง ธีมหลักคือความเร็ว ความสามารถในการแก้ไข และการถ่ายภาพฉากจากภาพถ่ายที่น้อยลงและเลอะเทอะมากขึ้น
การใช้งานจริงในโลกแห่งความเป็นจริง
การเปลี่ยนวิดีโอในโทรศัพท์ของวัตถุให้เป็นมุมมอง 3 มิติที่คุณสามารถโคจรสำหรับการช็อปปิ้งออนไลน์ได้
การสร้างสถานที่จริงขึ้นมาใหม่ให้เป็นฉากหลังเสมือนจริงสำหรับภาพยนตร์และเอฟเฟ็กต์ภาพ
สร้างฉาก 3 มิติที่สมจริงสำหรับประสบการณ์เสมือนจริงและความเป็นจริงเสริม
อนุรักษ์มรดกทางวัฒนธรรมและสิ่งประดิษฐ์จากชุดภาพถ่ายแบบดิจิทัล
ความเสี่ยงและรั้ว
สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน
ประสิทธิภาพของโมเดลอาจแตกต่างกันไปตามสภาพแสง ข้อมูลประชากร และสภาพแวดล้อม
ผลบวกลวงอาจไม่สังเกตเห็นเว้นแต่จะมีการตรวจสอบเกณฑ์ความเชื่อมั่น
แผนงานการดำเนินงาน
กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด
ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง
เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง
ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Neural Radiance Fields quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
Mip-NeRF และ Anti-Aliased Radiance Fields
คำถามที่พบบ่อย
What is Neural Radiance Fields?
Neural Radiance Fields (NeRF) สร้างฉาก 3D ขึ้นมาใหม่จากภาพถ่ายธรรมดาจำนวนหนึ่ง ช่วยให้คุณสามารถบินกล้องไปยังมุมมองใหม่เอี่ยม โดยปรับกรอบการจับภาพ 3 มิติใหม่เป็นการฝึกฝนโครงข่ายประสาทเทียมขนาดเล็ก แทนที่จะสร้างตาข่าย
เป้าหมายหลักของสนาม Neural Radiance คืออะไร?
NeRF สร้างการแสดงภาพ 3 มิติจากชุดรูปภาพ ช่วยให้สามารถเรนเดอร์ภาพเสมือนจริงจากมุมมองที่ไม่ได้อยู่ในภาพถ่ายต้นฉบับ
เอาต์พุตโครงข่ายประสาทเทียม NeRF สำหรับอินพุตที่กำหนดคืออะไร
สำหรับตำแหน่ง 3 มิติและทิศทางการรับชม MLP จะส่งกลับสีและความหนาแน่น (ความทึบ) ที่จุดนั้น
อินพุตของฟังก์ชัน 5D ของ NeRF คืออะไร
NeRF ใช้ตำแหน่ง 3 มิติ (x, y, z) และทิศทางการรับชม (สองมุม) รวมเป็นห้าอินพุต
NeRF เปลี่ยนเอาต์พุตเครือข่ายให้เป็นสีพิกเซลสุดท้ายได้อย่างไร
ตัวอย่าง NeRF ชี้ไปตามแต่ละรังสีและรวมสีที่ถ่วงน้ำหนักด้วยความหนาแน่น สมการการเรนเดอร์ปริมาตรแบบคลาสสิกทำให้สามารถหาอนุพันธ์ได้
เหตุใด NeRF จึงใช้การเข้ารหัสตำแหน่งกับพิกัดอินพุต
การทำแผนที่พิกัดผ่านฟังก์ชันไซน์/โคไซน์ความถี่สูงช่วยให้ MLP แสดงรายละเอียดเล็กๆ น้อยๆ แทนที่จะแสดงผลลัพธ์ที่พร่ามัว