คู่มือ AI แบบเห็นภาพ
ความลึก ความลึกของตาข้างเดียว
DepthAnything เป็นโมเดลพื้นฐานที่ประมาณว่าแต่ละพิกเซลอยู่ห่างจากภาพถ่ายปกติเพียงภาพเดียว โดยไม่ต้องใช้ฮาร์ดแวร์พิเศษ
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
บนหน้านี้อ่าน 2 นาที
ภาพรวม
It made robust, general-purpose depth sensing cheap and accessible for anything from phones to robots.
เจาะลึก
DepthAnything (2024 เผยแพร่โดยนักวิจัยรวมถึง TikTok/ByteDance และ HKU) จัดการกับการประมาณความลึกแบบตาข้างเดียว: การทำนายแผนที่ความลึกจากภาพ RGB หนึ่งภาพ ความก้าวหน้านั้นอยู่ที่ขนาด แทนที่จะอาศัยเฉพาะข้อมูลเชิงลึกที่มีป้ายกำกับที่จำกัด ทีมได้สร้างเครื่องมือที่ติดป้ายกำกับอัตโนมัติให้กับรูปภาพที่ไม่มีป้ายกำกับประมาณ 62 ล้านรูปโดยใช้แบบจำลองของครู จากนั้นจึงฝึกนักเรียนเกี่ยวกับคลังข้อมูลขนาดใหญ่นี้ ซึ่งให้ภาพรวมที่ชัดเจนเป็นศูนย์ทั้งในฉากในร่ม กลางแจ้ง และฉากที่ไม่ธรรมดา ต้นฉบับจะแสดงความลึกสัมพัทธ์ (ซึ่งพิกเซลอยู่ใกล้หรือไกลกว่า ไม่ใช่หน่วยเมตรที่แน่นอน) DepthAnything V2 (กลางปี 2024) เพิ่มความคมชัดให้กับรายละเอียดโดยการฝึกอบรมครูเกี่ยวกับข้อมูลสังเคราะห์ด้วยความจริงจากพื้นดินที่สมบูรณ์แบบ จากนั้นกลั่นให้เป็นภาพจริง แก้ไขขอบที่พร่ามัวและข้อผิดพลาดของวัตถุโปร่งใส
การใช้งานจริงในโลกแห่งความเป็นจริง
การสร้างแผนที่เชิงลึกเพื่อขับเคลื่อนพื้นหลังเบลอที่สมจริง (โบเก้) ในภาพถ่ายบุคคลบนสมาร์ทโฟนเลนส์เดียว
ให้การรับรู้สิ่งกีดขวาง 3 มิติสำหรับโดรนและหุ่นยนต์ราคาประหยัดที่ไม่มี LiDAR หรือกล้องสเตอริโอ
การสร้างแผนที่ปรับความลึกสำหรับ ControlNet เพื่อให้โปรแกรมสร้างภาพรักษาเรขาคณิตของฉากไว้
การแปลงภาพถ่ายและภาพยนตร์ 2D ให้เป็นเอฟเฟกต์ 3D หรือพารัลแลกซ์สำหรับจอแสดงผล VR และสามมิติ
อนาคตแห่งความลึก ความลึกแบบตาข้างเดียว
คาดว่าจะมีการผสานรวมเข้ากับแว่นตา AR, กล้องสมาร์ทโฟน และหุ่นยนต์อย่างใกล้ชิดยิ่งขึ้น โดยที่ LiDAR เฉพาะนั้นมีราคาแพงหรือเทอะทะเกินไป ตัวแปรหน่วยเมตริกที่ให้เอาท์พุตมิเตอร์จริง รวมถึงโมเดลวิดีโอที่มีความลึกคงที่ชั่วคราว (ไม่มีการสั่นไหวระหว่างเฟรม) กำลังก้าวหน้าไปอย่างรวดเร็ว เนื่องจากโมเดลเหล่านี้ย่อขนาดให้ทำงานบนอุปกรณ์แบบเรียลไทม์ การรับรู้ 3 มิติด้วยกล้องเดี่ยวจะกลายเป็นความสามารถเริ่มต้น โดยป้อนการประมวลผลเชิงพื้นที่ การนำทางอัตโนมัติ และการสร้างฉาก 3 มิติขึ้นมาใหม่
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- ความเร็วและขนาด. Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ
- สร้างทางเลือก. ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง
- ทีมงานและขั้นตอนการทำงาน. การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก
ระวัง
- สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน
- ประสิทธิภาพของโมเดลอาจแตกต่างกันไปตามสภาพแสง ข้อมูลประชากร และสภาพแวดล้อม
- ผลบวกลวงอาจไม่สังเกตเห็นเว้นแต่จะมีการตรวจสอบเกณฑ์ความเชื่อมั่น
ขั้นตอนต่อไป
- กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด
- ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง
- เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง
- ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
Take the DepthAnything Monocular Depth quiz
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
What is DepthAnything Monocular Depth?
DepthAnything เป็นโมเดลพื้นฐานที่ประมาณว่าแต่ละพิกเซลอยู่ห่างจากภาพถ่ายปกติเพียงภาพเดียว โดยไม่ต้องใช้ฮาร์ดแวร์พิเศษ ทำให้การตรวจจับความลึกวัตถุประสงค์ทั่วไปที่แข็งแกร่งมีราคาถูกและเข้าถึงได้ทุกอย่างตั้งแต่โทรศัพท์ไปจนถึงหุ่นยนต์
การประมาณความลึก 'ตาข้างเดียว' หมายถึงอะไร
ตาข้างเดียวหมายถึงความลึกอนุมานจากภาพจากกล้องตัวเดียว (โมโน) โดยไม่มีคู่สเตอริโอหรือเซ็นเซอร์ที่ทำงานอยู่
กลยุทธ์หลักของ DepthAnything เพื่อให้บรรลุถึงลักษณะทั่วไปที่แข็งแกร่งคืออะไร
ทีมงานได้สร้างกลไกข้อมูลที่ติดป้ายกำกับรูปภาพที่ไม่มีป้ายกำกับจำนวนหลายสิบล้านภาพ ซึ่งขยายขนาดการฝึกอบรมได้อย่างมาก
DepthAnything สร้างตัวเข้ารหัสแบ็คโบนแบบใด
DepthAnything ใช้ตัวเข้ารหัส DINOv2 ViT จับคู่กับหัวทำนายความหนาแน่นแบบ DPT
DepthAnything ดั้งเดิมจะให้ความลึกแบบใดเป็นหลัก
แบบจำลองพื้นฐานคาดการณ์การจัดลำดับความลึกสัมพัทธ์มากกว่าระยะทางเมตริกแบบสัมบูรณ์
DepthAnything V2 ปรับปรุงรายละเอียดและขอบอย่างละเอียดได้อย่างไร
V2 ฝึกครูเกี่ยวกับภาพสังเคราะห์ที่มีความลึกที่แน่นอน จากนั้นกลั่นเป็นภาพถ่ายจริงเพื่อให้มีขอบเขตที่คมชัดยิ่งขึ้น
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้