การประมาณความลึกสเตอริโอ
การประมาณความลึกแบบสเตอริโอจะคืนค่าว่าสิ่งต่างๆ อยู่ไกลแค่ไหนโดยการเปรียบเทียบมุมมองกล้องที่ชดเชยเล็กน้อยสองภาพ เช่นเดียวกับที่ดวงตาทั้งสองของคุณทำ
ภาพรวม
It turns flat images into 3D distance maps that robots, cars, and phones rely on to understand space.
เจาะลึก
การประมาณความลึกของสเตอริโอใช้กล้องสองตัวที่มีระยะห่างคงที่ (เส้นฐาน) จุดเดียวกันในโลกอยู่ที่ตำแหน่งแนวนอนที่แตกต่างกันเล็กน้อยในภาพด้านซ้ายและขวา และการเปลี่ยนแปลงนั้นเรียกว่าความแตกต่าง วัตถุใกล้เคียงมีการเคลื่อนตัวมาก คนที่อยู่ห่างไกลแทบขยับตัวไม่ได้ ความลึกคำนวณเป็น (ความยาวโฟกัส x เส้นพื้นฐาน) / ความแตกต่าง ดังนั้นความลึกและความต่างจึงมีความสัมพันธ์แบบผกผัน ส่วนที่ยากคือการจับคู่พิกเซลระหว่างรูปภาพทั้งสอง โดยเฉพาะอย่างยิ่งบนผนังเรียบ รูปแบบที่ซ้ำกัน หรือพื้นผิวสะท้อนแสงซึ่งมีพิกเซลจำนวนมากดูเหมือนกัน วิธีการแบบคลาสสิก เช่น การสแกนการจับคู่กึ่งสากลตามแนวสแกนไลน์ ในขณะที่เครือข่ายเชิงลึกสมัยใหม่ เช่น PSMNet และ RAFT-Stereo เรียนรู้คุณสมบัติที่หลากหลายและปรับแต่งความแตกต่างซ้ำ ๆ กัน ทำให้เกิดความหนาแน่นและความลึกที่แม่นยำแม้ในภูมิภาคที่ยุ่งยาก
ข้อมูลเชิงลึกทางเทคนิค
รูปภาพทั้งสองได้รับการแก้ไขในขั้นแรกเพื่อให้จุดที่ตรงกันอยู่บนแถวแนวนอนเดียวกัน เพื่อลดการค้นหาให้เหลือเพียงมิติเดียว ปริมาณต้นทุนสร้างขึ้นโดยการทดสอบความไม่เท่าเทียมกันของผู้สมัครแต่ละคนสำหรับทุกพิกเซล โดยวัดว่าคุณสมบัติด้านซ้ายและขวาเข้ากันได้ดีเพียงใด เครือข่ายจะรวมวอลุ่มนี้เข้ากับการบิดแบบ 3 มิติหรือการอัปเดตที่เกิดซ้ำ จากนั้นใช้ soft-argmin เหนือความแตกต่างเพื่อให้ได้ความแม่นยำของพิกเซลย่อย ความสัมพันธ์แบบผกผันระหว่างความแตกต่างและความลึกหมายความว่าความลึกที่อยู่ห่างไกลจะดังกว่าความลึกใกล้โดยธรรมชาติ
ผลกระทบเชิงกลยุทธ์
ความเร็วและขนาด
Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ
สร้างทางเลือก
ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง
ทีมงานและขั้นตอนการทำงาน
การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก
อนาคตของการประมาณความลึกของสเตอริโอ
คาดว่าจะหลอมรวมสเตอริโอเข้ากับ LiDAR, เรดาร์ และสัญญาณตาข้างเดียวได้แน่นยิ่งขึ้น เพื่อให้ระบบลดระดับลงอย่างสวยงามเมื่อเซ็นเซอร์ตัวหนึ่งทำงานล้มเหลว การจับคู่โดยใช้หม้อแปลงไฟฟ้าและการฝึกอบรมแบบมีการดูแลตนเอง (การเรียนรู้จากวิดีโอ Raw โดยไม่ต้องเจาะลึกข้อมูลพื้นฐาน) กำลังลดความจำเป็นในการใช้ข้อมูลที่มีป้ายกำกับซึ่งมีราคาแพง ประสิทธิภาพบนอุปกรณ์ได้รับการปรับปรุงอย่างรวดเร็ว โดยใส่สเตอริโอแบบเรียลไทม์บนโดรน แว่นตา AR และหุ่นยนต์ราคาถูก กล้องเหตุการณ์และรูปแบบที่เรียนรู้ได้รับประกันความลึกที่เชื่อถือได้แม้ในสภาพแสงน้อย ภาพเบลอจากการเคลื่อนไหว และฉากที่ไม่มีพื้นผิวซึ่งเอาชนะวิธีการในปัจจุบัน
การใช้งานจริงในโลกแห่งความเป็นจริง
ระบบขับเคลื่อนด้วยตนเองและช่วยเหลือผู้ขับขี่ใช้กล้องสเตอริโอเพื่อวัดระยะห่างจากรถยนต์ คนเดินถนน และขอบถนนสำหรับการเบรกและการรักษาช่องทางเดินรถ
หุ่นยนต์ในคลังสินค้าและการเกษตรสร้างแผนที่ 3 มิติเพื่อจับวัตถุ หลีกเลี่ยงสิ่งกีดขวาง และเก็บผลไม้ที่ระดับความลึกที่เหมาะสม
ชุดหูฟัง AR/VR เช่น อุปกรณ์ส่งผ่านจะประเมินรูปทรงของห้อง เพื่อให้วัตถุเสมือนวางอย่างถูกต้องบนพื้นผิวจริง
รถแลนด์โรเวอร์บนดาวอังคาร (เช่น Perseverance) ใช้กล้องนำทางสเตอริโอเพื่อวางแผนเส้นทางที่ปลอดภัยเหนือภูมิประเทศที่เป็นหินโดยไม่ต้องใช้ GPS
ความเสี่ยงและรั้ว
สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน
ประสิทธิภาพของโมเดลอาจแตกต่างกันไปตามสภาพแสง ข้อมูลประชากร และสภาพแวดล้อม
ผลบวกลวงอาจไม่สังเกตเห็นเว้นแต่จะมีการตรวจสอบเกณฑ์ความเชื่อมั่น
แผนงานการดำเนินงาน
กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด
ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง
เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง
ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Stereo Depth Estimation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
การประมาณความลึกการแพร่กระจายของดาวเรือง
คำถามที่พบบ่อย
What is Stereo Depth Estimation?
การประมาณความลึกแบบสเตอริโอจะคืนค่าว่าสิ่งต่างๆ อยู่ไกลแค่ไหนโดยการเปรียบเทียบมุมมองกล้องที่ชดเชยเล็กน้อยสองภาพ เช่นเดียวกับที่ดวงตาทั้งสองของคุณทำ โดยเปลี่ยนภาพแบนๆ ให้เป็นแผนที่ระยะทาง 3 มิติที่หุ่นยนต์ รถยนต์ และโทรศัพท์พึ่งพาเพื่อทำความเข้าใจอวกาศ
'ความแตกต่าง' ในการมองเห็นแบบสเตอริโอคืออะไร?
ความแตกต่างคือระยะทางที่จุดที่สอดคล้องกันเคลื่อนที่ในแนวนอนระหว่างมุมมองที่แก้ไขสองมุมมอง ความแตกต่างที่มากขึ้นหมายถึงวัตถุอยู่ใกล้มากขึ้น
ความลึกเกี่ยวข้องกับความแตกต่างอย่างไร?
ความลึก = (ความยาวโฟกัส x เส้นพื้นฐาน) / ความแตกต่าง ดังนั้นเมื่อความแตกต่างลดลง ความลึกโดยประมาณก็จะเพิ่มขึ้น วัตถุที่อยู่ห่างไกลมีความแตกต่างกันเล็กน้อย
เหตุใดรูปภาพจึง 'แก้ไข' ก่อนจับคู่
การแก้ไขจะทำให้ทั้งสองภาพบิดเบี้ยว ดังนั้นการจับคู่จึงจำกัดอยู่ที่เส้นแนวนอนเส้นเดียว เปลี่ยนการค้นหาแบบ 2 มิติให้เป็นการค้นหาแบบ 1 มิติที่รวดเร็ว
สถานการณ์ใดยากที่สุดสำหรับการจับคู่สเตอริโอ
พื้นผิวที่ไม่มีพื้นผิวหรือซ้ำกันทำให้พิกเซลจำนวนมากดูเหมือนกัน ดังนั้นอัลกอริทึมจึงไม่สามารถค้นหาการจับคู่ที่ถูกต้องได้อย่างมั่นใจ
'พื้นฐาน' หมายถึงอะไร?
เส้นพื้นฐานคือการแยกระหว่างศูนย์กลางกล้องทั้งสอง เส้นฐานที่กว้างขึ้นช่วยเพิ่มความแม่นยำให้กับวัตถุที่อยู่ห่างไกล