โครงสร้างจากการเคลื่อนไหว
โครงสร้างจาก Motion (SfM) สร้างเรขาคณิตของฉาก 3 มิติขึ้นมาใหม่และตำแหน่งกล้องจากชุดภาพถ่าย 2 มิติที่ทับซ้อนกันซึ่งถ่ายจากมุมมองที่แตกต่างกัน
ภาพรวม
It is the backbone of 3D mapping, photogrammetry, and modern reconstruction pipelines.
เจาะลึก
SfM แก้ปัญหาสิ่งที่ไม่ทราบที่มาพร้อมกันสองตัวพร้อมกัน ได้แก่ ตำแหน่งที่กล้องแต่ละตัวอยู่ที่ไหนเมื่อถ่ายภาพ และตำแหน่งของจุด 3 มิติในโลก เริ่มต้นด้วยการตรวจจับจุดคุณลักษณะที่โดดเด่น (โดยใช้ตัวตรวจจับ เช่น SIFT) ในทุกภาพ จากนั้นจับคู่จุดทางกายภาพเดียวกันในภาพถ่ายหลายภาพ การใช้ความสอดคล้องเหล่านี้และเรขาคณิตของวิธีที่จุด 3 มิติฉายภาพบนภาพ 2 มิติ ระบบจะประมาณการวางตำแหน่งกล้องสัมพันธ์ผ่านเรขาคณิตแบบเอพิโพลาร์ จุดต่างๆ จะถูกจัดวางเป็นรูปสามเหลี่ยมในระบบคลาวด์ 3 มิติแบบกระจัดกระจาย และการเพิ่มประสิทธิภาพระดับโลกที่เรียกว่าการปรับแบบมัดจะปรับแต่งกล้องทั้งหมดและจุดต่างๆ เข้าด้วยกันเพื่อลดข้อผิดพลาดในการฉายภาพใหม่ ผลลัพธ์ที่ได้คือเมฆจุดกระจัดกระจายบวกกับตำแหน่งกล้องที่ปรับเทียบแล้ว ซึ่งเป็นโครงสำคัญที่วิธีการสร้างใหม่ให้หนาแน่นยิ่งขึ้นสร้างขึ้น
ข้อมูลเชิงลึกทางเทคนิค
หัวใจทางคณิตศาสตร์ของ SfM คือการปรับแบบมัด: การเพิ่มประสิทธิภาพกำลังสองน้อยที่สุดแบบไม่เชิงเส้นขนาดใหญ่ ซึ่งจะปรับท่าทางและตำแหน่งภายในของกล้องทุกตัวและจุด 3D ทุกจุดไปพร้อมๆ กัน เพื่อให้การฉายภาพตรงกับตำแหน่งคุณสมบัติ 2D ที่สังเกตได้ดีที่สุด โดยจะช่วยลด 'ข้อผิดพลาดในการฉายภาพซ้ำ' ซึ่งก็คือระยะห่างระหว่างพิกเซลระหว่างจุดที่จุดตกลงในภาพกับจุดที่การประมาณการ 3D ในปัจจุบันบอกว่าควรจะลง ซึ่งโดยปกติจะผ่านทาง Levenberg-Marquardt
ผลกระทบเชิงกลยุทธ์
ความเร็วและขนาด
Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ
สร้างทางเลือก
ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง
ทีมงานและขั้นตอนการทำงาน
การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก
อนาคตของโครงสร้างจากการเคลื่อนไหว
SfM ถูกหลอมรวมเข้ากับการเรียนรู้เชิงลึกมากขึ้น: ตัวตรวจจับและตัวจับคู่ฟีเจอร์ที่เรียนรู้ (เช่น SuperPoint และ SuperGlue) จัดการกับฉากที่ไม่มีพื้นผิวหรือซ้ำซากซึ่ง SIFT แบบคลาสสิกประสบปัญหา นอกจากนี้ยังป้อนการนำเสนอฉากนิวรัล เช่น NeRF และ Gaussian Splatting ซึ่งต้องใช้กล้องโพสท่าที่ SfM จัดให้ คาดหวังไปป์ไลน์แบบ end-to-end ที่เร็วขึ้นและแข็งแกร่งยิ่งขึ้น SfM แบบเรียลไทม์บนโทรศัพท์สำหรับ AR และการเชื่อมต่อกับ SLAM ที่แน่นหนายิ่งขึ้นสำหรับการทำแผนที่สดในหุ่นยนต์และการนำทางอัตโนมัติ
การใช้งานจริงในโลกแห่งความเป็นจริง
โดรนโฟโตแกรมเมทรีที่เปลี่ยนชุดภาพถ่ายทางอากาศให้เป็นภูมิประเทศ 3 มิติและแบบจำลองอาคารสำหรับการสำรวจ
การกู้คืนท่ากล้องเพื่อบูตการสร้างฉาก NeRF และ Gaussian Splatting ขึ้นมาใหม่
อนุรักษ์มรดกทางวัฒนธรรมและรูปปั้นในรูปแบบดิจิทัลในรูปแบบ 3 มิติจากคอลเลกชันภาพถ่ายนักท่องเที่ยว
การสร้างฉากอาชญากรรมหรืออุบัติเหตุขึ้นใหม่ในรูปแบบ 3 มิติจากภาพถ่ายของผู้สืบสวนเพื่อการวิเคราะห์ทางนิติเวช
ความเสี่ยงและรั้ว
สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน
ประสิทธิภาพของโมเดลอาจแตกต่างกันไปตามสภาพแสง ข้อมูลประชากร และสภาพแวดล้อม
ผลบวกลวงอาจไม่สังเกตเห็นเว้นแต่จะมีการตรวจสอบเกณฑ์ความเชื่อมั่น
แผนงานการดำเนินงาน
กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด
ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง
เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง
ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Structure from Motion quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
การสร้างภาพเคลื่อนไหว AnimateDiff
คำถามที่พบบ่อย
What is Structure from Motion?
โครงสร้างจาก Motion (SfM) สร้างเรขาคณิตของฉาก 3 มิติขึ้นมาใหม่และตำแหน่งกล้องจากชุดภาพถ่าย 2 มิติที่ทับซ้อนกันซึ่งถ่ายจากมุมมองที่แตกต่างกัน มันเป็นแกนหลักของการทำแผนที่ 3 มิติ โฟโตแกรมเมทรี และไปป์ไลน์การฟื้นฟูที่ทันสมัย
Structure จาก Motion ประมาณสองสิ่งอะไรพร้อมกัน?
SfM ร่วมกันแก้ปัญหาเรขาคณิต 3 มิติของฉากและตำแหน่งของกล้องแต่ละตัวเมื่อจับภาพแต่ละภาพ
บทบาทของการจับคู่คุณสมบัติใน SfM คืออะไร?
การจับคู่คุณสมบัติที่ตรวจพบ (เช่น จุดสำคัญ SIFT) ในภาพถ่ายให้ความสอดคล้องที่จำเป็นในการอนุมานรูปทรงเรขาคณิต
การปรับชุดรวมเพิ่มประสิทธิภาพอะไร?
การปรับแบบกลุ่มคือการปรับแต่งกำลังสองน้อยที่สุดแบบไม่เชิงเส้นทั่วโลก เพื่อลดช่องว่างพิกเซลระหว่างจุดที่สังเกตและจุดที่ฉาย
โดยทั่วไปแล้ว SfM เอาต์พุต 3D ประเภทใดจะสร้างโดยตรง
SfM ให้ชุดจุดสามเหลี่ยมและตำแหน่งกล้องกระจัดกระจาย จำเป็นต้องใช้วิธีการที่มีความหนาแน่นมากขึ้นสำหรับพื้นผิวทั้งหมด
แนวคิดทางเรขาคณิตใดเกี่ยวข้องกับจุดที่สอดคล้องกันระหว่างมุมมองกล้องสองตัว
เรขาคณิตแบบเอปิโพลาร์จำกัดจุดที่มองเห็นในภาพหนึ่งสามารถปรากฏในอีกภาพหนึ่งได้ จึงสามารถประมาณท่าทางได้