概述
It turns flat images into 3D distance maps that robots, cars, and phones rely on to understand space.
深入探讨
立体深度估计使用两个相距固定距离（基线）的相机。世界上的同一点在左右图像中的水平位置略有不同，这种移动称为视差。附近的物体移动很多；远处的人几乎不动。深度的计算公式为（焦距 x 基线）/视差，因此深度和视差呈反比关系。困难的部分是匹配两个图像之间的像素，尤其是在平坦的墙壁、重复图案或许多像素看起来相同的反射表面上。半全局匹配等经典方法沿着扫描线扫描，而 PSMNet 和 RAFT-Stereo 等现代深度网络则学习丰富的特征并迭代地细化视差，即使在棘手的区域也能产生密集、准确的深度。
现实世界的实施
自动驾驶和驾驶员辅助系统使用立体摄像头来测量与汽车、行人和路缘石的距离，以进行制动和车道保持。
仓库和农业机器人构建 3D 地图来抓取物体、避开障碍物并在正确的深度采摘水果。
AR/VR 耳机（例如直通设备）可以估计房间的几何形状，以便虚拟对象正确地放置在真实表面上。
火星漫游车（例如“毅力号”）使用立体导航相机在没有 GPS 的情况下在岩石地形上规划安全路径。
立体深度估计的未来
预计立体声与激光雷达、雷达和单目线索会更紧密地融合，这样当一个传感器发生故障时，系统就会优雅地降级。基于 Transformer 的匹配和自我监督训练（从没有真实深度的原始视频中学习）正在减少对昂贵的标记数据的需求。设备上的效率正在快速提高，为无人机、AR 眼镜和廉价机器人提供了实时立体声。即使在弱光、运动模糊和无纹理场景中，事件相机和学习的活动模式也能保证可靠的深度，而这些都击败了当今的方法。
付诸实践
为什么这很重要
- 速度与规模. 视觉人工智能可以大规模自动化检查、检测和标记任务。
- 构建选择. 创意团队可以通过更少的手动修改更快地构建概念原型。
- 团队与工作流程. 操作可以使用以前难以处理的图像和视频信号。
留意
- 如果出处不明，肖像权和同意可能会成为法律风险。
- 模型性能可能因光照、人口统计和环境的不同而有所不同。
- 除非监控置信阈值，否则误报可能会被忽视。
后续步骤
- 定义精确度、召回率和错误成本的接受标准。
- 使用符合实际生产条件的数据进行测试。
- 为低置信度或高影响力的预测添加人工审核。
- 跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
常见问题
What is Stereo Depth Estimation?
立体深度估计通过比较两个稍微偏移的相机视图来恢复物体的距离，就像您的两只眼睛一样。它将平面图像转换为机器人、汽车和手机用来了解空间的 3D 距离图。
什么是立体视觉的“视差”？
视差是对应点在两个校正视图之间水平移动的距离；视差越大意味着物体越近。
深度与视差有何关系？
深度 =（焦距 x 基线）/视差，因此当视差缩小时，估计深度会增加。远处的物体差异很小。
为什么在匹配之前要对图像进行“校正”？
校正会扭曲两个图像，因此匹配仅限于一条水平线，从而将 2D 搜索转变为快速的 1D 搜索。
哪种场景立体匹配最难？
无纹理或重复的表面使许多像素看起来相同，因此算法无法自信地找到正确的匹配。
“基线”指的是什么？
基线是两个相机中心之间的距离；更宽的基线可以提高远处物体的准确性。