概述
這很重要,因為它可以讓機器人、無人機和 AR 設備在沒有 GPS 的情況下僅使用視覺來了解自己的位置。
深入探討
視覺里程計 (VO) 透過分析連續影像來逐步估計相機的運動、平移和旋轉。基於特徵的管道檢測關鍵點,跨幀匹配或追蹤它們,並根據匹配點之間的幾何關係計算相對姿勢,然後將這些增量連結到軌跡中。相反,直接方法可以在沒有明確特徵的情況下最大限度地減少光度誤差(像素強度差異)。 VO 是許多 SLAM 系統的前端,但完整的 SLAM 構建並維護具有閉環的全局地圖,而普通 VO 則專注於局部幀到幀的運動。它的弱點是漂移:每個畫面的小錯誤會隨著時間的推移而累積。 VO 為自動駕駛汽車、行星漫遊車、GPS 拒絕環境中的無人機以及 AR/VR 中的耳機追蹤提供動力。
現實世界的實施
毅力號等火星探測器使用視覺里程計來追蹤車輪打滑並在沒有 GPS 的情況下導航地形
AR/VR 耳機透過機載攝影機追蹤頭部位置,實現由內而外的 6DoF 追蹤
無人機在室內或無 GPS 的環境中保持穩定的飛行和導航
自動駕駛汽車和機器人將攝影機運動與 IMU 數據融合,以在地圖更新之間進行定位
視覺里程計的未來
VO 正在朝著學習和混合方法發展:深度網路估計深度、光流和姿勢,甚至使用視圖合成一致性以自我監督的方式進行訓練。更緊密的視覺慣性融合、捕捉微秒亮度變化的事件相機以及設備上的神經加速器正在推動 VO 在黑暗、高速和動態場景中實現極高的魯棒性,成為自主機器和空間運算的基礎層。
付諸實踐
為什麼這很重要
- 速度與規模. 視覺人工智慧可以大規模自動化檢查、檢測和標記任務。
- 配裝選擇. 創意團隊可以透過更少的手動修改來更快地建立概念原型。
- 團隊與工作流程. 操作可以使用以前難以處理的影像和視訊訊號。
留意
- 如果出處不明,肖像權和同意可能會成為法律風險。
- 模型表現可能因光照、人口統計和環境的不同而有所不同。
- 除非監控置信閾值,否則誤報可能會被忽略。
後續步驟
- 定義精確度、召回率和錯誤成本的接受標準。
- 使用符合實際生產條件的數據進行測試。
- 為低置信度或高影響力的預測添加人工審核。
- 追蹤模型漂移並在相機或資料集變更後重新驗證。
不斷探索
常見問題
什麼是視覺里程計?
視覺里程計透過追蹤影像在幀與幀之間的變化來估計相機如何在世界中移動。這很重要,因為它可以讓機器人、無人機和 AR 設備在沒有 GPS 的情況下僅使用視覺來了解自己的位置。
視覺里程計主要估計什麼?
視覺里程計追蹤影像在影格之間的變化,以估計相機的相對姿勢,並將它們連結成軌跡。
視覺里程計中的「漂移」是什麼?
由於 VO 會增量地估計運動,因此每個步驟中的微小誤差會隨著時間的推移而複合,導致估計路徑偏離真實路徑。
為什麼在沒有度量參考的普通單目視覺里程計中,絕對尺度是模糊的?
僅靠視覺的尺度需要額外的合適約束,例如已校準的立體視覺、深度或可觀測的慣性資訊。
視覺慣性里程計如何提高穩健性?
將視覺運動估計與慣性測量相結合有助於解決快速運動、運動模糊或僅視覺困難的低紋理場景。
普通視覺里程計與完整視覺 SLAM 有何不同?
VO通常是前端運動估計器; SLAM 添加了全局映射和閉環來修正累積的漂移。