視覺人工智慧指南

運動結構

運動結構 (SfM) 根據從不同視點拍攝的一組重疊 2D 照片重建 3D 場景幾何形狀和相機位置。

概述

運動結構 (SfM) 根據從不同視點拍攝的一組重疊 2D 照片重建 3D 場景幾何形狀和相機位置。它是 3D 測繪、攝影測量和現代重建流程的支柱。

Structure from Motion 屬於電腦視覺工作流程,可解釋或產生視覺媒體以進行分析、操作和創造力。

深入探討

SfM 同時解決兩個耦合的未知數:每個相機拍攝照片時的位置,以及世界中 3D 點的位置。它首先檢測每張影像中的獨特特徵點(使用 SIFT 等偵測器),然後在多張照片中匹配相同的物理點。利用這些對應關係以及 3D 點如何投影到 2D 影像上的幾何形狀,系統透過對極幾何形狀估計相對相機位姿。點被三角測量成稀疏的 3D 雲,並且稱為束調整的全局最佳化將所有攝影機和點一起細化,以最大限度地減少重投影誤差。結果是稀疏的點雲加上校準的相機位置——這是更密集的重建方法所依賴的基本支架。

技術洞察

SfM 的數學核心是捆綁調整:一種大型非線性最小二乘優化,可同時調整每個相機的位姿和內在特性以及每個 3D 點,以便它們的投影與觀察到的 2D 特徵位置最匹配。它最大限度地減少了「重投影誤差」——影像中某個點的著陸位置與當前 3D 估計值表明該點應該著陸的位置之間的像素距離——通常透過 Levenberg-Marquardt 實現。

從運動中掌握結構

運動結構 (SfM) 根據從不同視點拍攝的一組重疊 2D 照片重建 3D 場景幾何形狀和相機位置。它是 3D 測繪、攝影測量和現代重建流程的支柱。 Structure from Motion 屬於電腦視覺工作流程,可解釋或產生視覺媒體以進行分析、操作和創造力。為了建立深入的理解,請將 Structure from Motion 視為一種操作模型,而不是單一功能:定義期望的結果,澄清假設,並將系統可以可靠地執行的操作與仍需要專家判斷的操作分開。

在實踐中,使用 Structure from Motion 的強大團隊可以平衡準確性與數據品質、照明差異和標籤一致性等操作現實。他們記錄明確的成功標準,根據實際數據和工作流程進行測試,並根據觀察到的失敗模式而不是一次性基準測試勝利進行迭代。這就是理論理解轉變為跨產品、政策和營運的持久能力的地方。

視覺人工智慧可以大規模自動化檢查、檢測和標記任務。同時,如果出處不明,肖像權和同意可能會成為法律風險。最具彈性的方法是將實驗速度與治理規則結合:運行試點、捕獲證據、發布決策日誌,並隨著模型行為、使用者期望和監管要求的發展不斷更新保障措施。

戰略影響

視覺人工智慧可以大規模自動化檢查、檢測和標記任務。

視覺人工智慧可以大規模自動化檢查、檢測和標記任務。在高品質部署中,這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式,以便團隊可以增強信心,而不是擴大模糊性。

創意團隊可以透過更少的手動修改來更快地建立概念原型。

創意團隊可以透過更少的手動修改來更快地建立概念原型。在高品質部署中,這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式,以便團隊可以增強信心,而不是擴大模糊性。

操作可以使用以前難以處理的影像和視訊訊號。

操作可以使用以前難以處理的影像和視訊訊號。在高品質部署中,這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式,以便團隊可以增強信心,而不是擴大模糊性。

運動結構的未來

SfM 越來越多地與深度學習融合:學習的特徵檢測器和匹配器(如 SuperPoint 和 SuperGlue)可以處理經典 SIFT 難以處理的無紋理或重複場景。它還提供神經場景表示,例如 NeRF 和 Gaussian Splatting,這需要 SfM 提供的相機姿勢。預計更快、更強大的端到端管道、用於 AR 的手機上的即時 SfM,以及與 SLAM 的更緊密耦合,以實現機器人和自主導航中的即時地圖繪製。

現實世界的實施

無人機攝影測量將航空照片集轉換為 3D 地形並建立測量模型

恢復相機姿勢以引導 NeRF 和高斯潑濺場景重建

將文化遺產遺址和雕像數位化保存為旅遊照片集中的 3D 模型

根據調查人員的照片重建 3D 犯罪或事故現場以進行法醫分析

實施模式

實踐中的運動結構

無人機攝影測量將航空照片集轉換為 3D 地形並建立測量模型。

無人機攝影測量將航空照片集轉換為 3D 地形並建立測量模型。當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並追蹤一段時間內的生產力增益和錯誤成本時,通常會獲得更好的結果。

實踐中的運動結構

恢復相機姿勢以引導 NeRF 和高斯潑濺場景重建。

恢復相機姿勢以引導 NeRF 和高斯潑濺場景重建 團隊在預先定義品質閾值、為邊緣情況保留人工升級路徑並隨著時間的推移跟踪生產力增益和錯誤成本時,通常會獲得更好的結果。

實踐中的運動結構

將文化遺產遺址和雕像以數位方式保存為旅遊照片集中的 3D 模型。

將文化遺產和雕像數位化保存為旅遊照片集中的 3D 模型 當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並追蹤一段時間內的生產力提升和錯誤成本時,通常會獲得更好的結果。

實踐中的運動結構

根據調查人員的照片重建 3D 犯罪或事故現場以進行法醫分析。

根據調查人員的照片重建 3D 犯罪或事故現場以進行取證分析 當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並追蹤一段時間內的生產力提升和錯誤成本時,通常會獲得更好的結果。

風險與防護欄

!

如果出處不明,肖像權和同意可能會成為法律風險。

!

模型表現可能因光照、人口統計和環境的不同而有所不同。

!

除非監控置信閾值,否則誤報可能會被忽略。

實施路線圖

1

定義精確度、召回率和錯誤成本的接受標準。

定義精確度、召回率和錯誤成本的接受標準。將每個步驟視為證據門:如果不符合標準,則暫停推出,縮小差距,然後再擴大使用。

2

使用符合實際生產條件的數據進行測試。

使用符合實際生產條件的數據進行測試。將每個步驟視為證據門:如果不符合標準,則暫停推出,縮小差距,然後再擴大使用。

3

為低置信度或高影響力的預測添加人工審核。

為低置信度或高影響力的預測添加人工審核。將每個步驟視為證據門:如果不符合標準,則暫停推出,縮小差距,然後再擴大使用。

4

追蹤模型漂移並在相機或資料集變更後重新驗證。

追蹤模型漂移並在相機或資料集變更後重新驗證。將每個步驟視為證據門:如果不符合標準,則暫停推出,縮小差距,然後再擴大使用。

不斷探索