概述
它將來自運動的結構的稀疏骨架轉變為詳細的、表面豐富的 3D 模型。
深入探討
MVS 假設相機姿態已知(通常來自運動的結構),並專注於恢復密集的幾何形狀。其核心原則是照片一致性:正確估計的 3D 表麵點在投影到看到它的多個影像中時應該看起來相同。演算法測試每個像素的候選深度,並選擇視圖中外觀最一致的深度,通常使用平面掃描立體或基於修補程式的匹配(如經典的 PMVS 方法)。然後將每個影像的深度圖融合到統一的點雲或網格中,解決衝突並過濾異常值。處理遮蔽、無紋理的牆壁和反射表面是核心困難。 MVSNet 等基於學習的 MVS 網路現在可以建立成本量,並使用 3D 卷積對其進行正規化,以提高穩健性。
現實世界的實施
從無人機或航空影像生成密集、詳細的建築物和景觀 3D 網格
為電子商務、遊戲和 VR 創建物件和產品的高保真 3D 掃描
建造工廠和建築工地的數位雙胞胎以進行檢查和規劃
從衛星或街道級照片集重建詳細的地形和結構
多視圖立體的未來
深度學習正在重塑 MVS:像 MVSNet 及其後繼者這樣的網路可以端到端地學習匹配成本和深度正則化,處理弱紋理和反射表面的能力遠優於手動調整的方法。該領域還與神經渲染融合——Gaussian Splatting 和 NeRF 提供了替代的密集重建——推動 MVS 走向更高的保真度、更快的運行時間以及用於 AR、機器人、數位孿生和大規模 3D 城市測繪的度量精確模型。
付諸實踐
為什麼這很重要
- 速度與規模. 視覺人工智慧可以大規模自動化檢查、檢測和標記任務。
- 配裝選擇. 創意團隊可以透過更少的手動修改來更快地建立概念原型。
- 團隊與工作流程. 操作可以使用以前難以處理的影像和視訊訊號。
留意
- 如果出處不明,肖像權和同意可能會成為法律風險。
- 模型表現可能因光照、人口統計和環境的不同而有所不同。
- 除非監控置信閾值,否則誤報可能會被忽略。
後續步驟
- 定義精確度、召回率和錯誤成本的接受標準。
- 使用符合實際生產條件的數據進行測試。
- 為低置信度或高影響力的預測添加人工審核。
- 追蹤模型漂移並在相機或資料集變更後重新驗證。
不斷探索
常見問題
什麼是多視圖立體?
多視圖立體 (MVS) 拍攝場景的多張校準照片,並透過估計幾乎每個像素的深度來產生密集的 3D 重建。它將來自運動的結構的稀疏骨架轉變為詳細的、表面豐富的 3D 模型。
多視圖立體通常假設在開始之前已知什麼?
MVS 依賴校準的相機位置(通常由 Motion 的 Structure 提供),並專注於密集深度。
MVS 使用什麼核心原理來找到正確的 3D 點?
當投影到觀察它的所有影像時,正確的表麵點應該看起來一致。
MVS 與 Structure from Motion 的輸出有何不同?
SfM 產生稀疏的支架; MVS 將其緻密化為幾乎覆蓋每個像素的詳細表面。
平面掃頻立體聲有什麼作用?
它透過掃描平面並計算每一層的匹配成本來測試許多候選深度。
哪些表面對於 MVS 來說特別具有挑戰性?
空白的牆壁缺乏可匹配的功能,鏡子/閃亮的表面違反了照片一致性,破壞了標準匹配。