概述
这很重要,因为它可以让机器人、无人机和 AR 设备在没有 GPS 的情况下仅使用视觉来了解自己的位置。
深入探讨
视觉里程计 (VO) 通过分析连续图像来逐步估计相机的运动、平移和旋转。基于特征的管道检测关键点,跨帧匹配或跟踪它们,并根据匹配点之间的几何关系计算相对姿势,然后将这些增量链接到轨迹中。相反,直接方法可以在没有明确特征的情况下最大限度地减少光度误差(像素强度差异)。 VO 是许多 SLAM 系统的前端,但完整的 SLAM 构建并维护具有闭环的全局地图,而普通 VO 则专注于局部帧到帧的运动。它的弱点是漂移:每帧的小错误会随着时间的推移而累积。 VO 为自动驾驶汽车、行星漫游车、GPS 拒绝环境中的无人机以及 AR/VR 中的耳机跟踪提供动力。
现实世界的实施
毅力号等火星探测器使用视觉里程计来跟踪车轮打滑并在没有 GPS 的情况下导航地形
AR/VR 耳机通过机载摄像头跟踪头部位置,实现由内而外的 6DoF 跟踪
无人机在室内或无 GPS 的环境中保持稳定的飞行和导航
自动驾驶汽车和机器人将摄像头运动与 IMU 数据融合,以在地图更新之间进行定位
视觉里程计的未来
VO 正在朝着学习和混合方法发展:深度网络估计深度、光流和姿势,甚至使用视图合成一致性以自我监督的方式进行训练。更紧密的视觉惯性融合、捕捉微秒亮度变化的事件相机以及设备上的神经加速器正在推动 VO 在黑暗、高速和动态场景中实现极高的鲁棒性,成为自主机器和空间计算的基础层。
付诸实践
为什么这很重要
- 速度与规模. 视觉人工智能可以大规模自动化检查、检测和标记任务。
- 构建选择. 创意团队可以通过更少的手动修改更快地构建概念原型。
- 团队与工作流程. 操作可以使用以前难以处理的图像和视频信号。
留意
- 如果出处不明,肖像权和同意可能会成为法律风险。
- 模型性能可能因光照、人口统计和环境的不同而有所不同。
- 除非监控置信阈值,否则误报可能会被忽视。
后续步骤
- 定义精确度、召回率和错误成本的接受标准。
- 使用符合实际生产条件的数据进行测试。
- 为低置信度或高影响力的预测添加人工审核。
- 跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
常见问题
什么是视觉里程计?
视觉里程计通过跟踪图像在帧与帧之间的变化来估计相机如何在世界中移动。这很重要,因为它可以让机器人、无人机和 AR 设备在没有 GPS 的情况下仅使用视觉来了解自己的位置。
视觉里程计主要估计什么?
视觉里程计跟踪图像在帧之间的变化,以估计相机的相对姿势,并将它们链接成轨迹。
视觉里程计中的“漂移”是什么?
由于 VO 会增量地估计运动,因此每个步骤中的微小误差会随着时间的推移而复合,导致估计路径偏离真实路径。
Why is absolute scale ambiguous in ordinary monocular visual odometry without a metric reference?
Vision-only scale needs an additional suitable constraint, such as calibrated stereo, depth, or observable inertial information.
视觉惯性里程计如何提高鲁棒性?
将视觉运动估计与惯性测量相结合有助于解决快速运动、运动模糊或仅视觉困难的低纹理场景。
普通视觉里程计与完整视觉 SLAM 有何不同?
VO通常是前端运动估计器; SLAM 添加了全局映射和闭环来纠正累积的漂移。