單目深度估計
單眼深度估計可預測每個像素與單張普通照片的距離 - 無需立體相機、光達或深度感測器。
概述
It lets one camera perceive 3D structure from a flat 2D image.
深入探討
人類可以利用透視、相對大小、紋理梯度、陰影和遮蔽等線索來判斷一隻眼睛的深度。單眼深度估計教會神經網路同樣的技巧：輸入單一 RGB 影像並輸出每個像素的深度值。由於 2D 影像本質上在絕對比例上不明確，因此任務很困難 - 許多 3D 場景可以投影到同一張圖片。網路從大型資料集中學習統計先驗來解決這個問題。訓練有兩種形式：監督式，使用光達或 RGB-D 感測器的地面實況深度；自我監督式，透過強制預測深度正確地將一個視圖重新投影到另一個視圖中，純粹從視訊或立體對中學習深度。最近的基礎模型（例如 MiDaS 和 Depth Anything）在未見過的場景中具有顯著的泛化能力。
技術洞察
自監督方法利用幾何而不是標籤。給定兩個視圖（立體或連續視訊畫面）和預測深度圖加上相機運動，模型會扭曲一個影像以重建另一個影像；像素級重建誤差成為訓練訊號。這種「視圖合成」損失意味著可以從原始的、未標記的影片中學習深度。一個關鍵的限制是尺度模糊性：單目深度通常只能正確到未知的乘數，除非根據已知的參考或度量監督進行校準。
戰略影響
速度與規模
視覺人工智慧可以大規模自動化檢查、檢測和標記任務。
配裝選擇
創意團隊可以透過更少的手動修改來更快地建立概念原型。
團隊與工作流程
操作可以使用以前難以處理的影像和視訊訊號。
單目深度估計的未來
在數百萬張混合影像上訓練的通用深度基礎模型正在推動任何場景中的可靠、公制（真實比例）深度，甚至是訓練中從未見過的場景。期望與光流和 SLAM 更緊密地融合以實現全 3D 場景重建、在手機和耳機上實時運行的更輕的模型以及更強的零樣本魯棒性。這將使豐富的空間感知變得便宜且無處不在，可以透過任何單一相機而不是昂貴的深度感測設備獲得。
現實世界的實施
智慧型手機肖像模式透過估計主體與背景距離來模擬背景模糊（散景）
擴增實境應用程式放置虛擬對象，以便它們正確地位於現實世界的家具後面
無人機和低成本機器人使用單一前置攝影機避開障礙物
透過推斷立體顯示的每像素深度，將 2D 照片和影片轉換為 3D
風險與防護欄
如果出處不明，肖像權和同意可能會成為法律風險。
模型表現可能因光照、人口統計和環境的不同而有所不同。
除非監控置信閾值，否則誤報可能會被忽略。
實施路線圖
定義精確度、召回率和錯誤成本的接受標準。
使用符合實際生產條件的數據進行測試。
為低置信度或高影響力的預測添加人工審核。
追蹤模型漂移並在相機或資料集變更後重新驗證。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Monocular Depth Estimation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is Monocular Depth Estimation?
單眼深度估計可預測每個像素與單張普通照片的距離 - 無需立體相機、光達或深度感測器。它可以讓一台相機從平面 2D 影像中感知 3D 結構。
是什麼讓深度估計成為「單目」？
「單眼」是指一隻眼睛/相機；此方法無需立體或主動深度感測器即可從單一 RGB 影像預測深度。
為什麼單目深度估計從根本上來說是不明確的？
單一 2D 投影會失去比例訊息，因此多個 3D 排列與一幅影像保持一致；網路依靠學習先驗來消除歧義。
自監督方法如何在沒有真實標籤的情況下學習深度？
使用預測的深度和相機運動，該模型將一幅影像重新投影到另一幅影像上；光度誤差提供學習訊號，不需要標籤。
單目網路不直接依賴哪一種線索來獲得深度？
立體視差需要兩個相機；單眼方法依賴單一影像線索，如大小、透視、紋理和遮擋。
什麼是單眼深度中的「尺度模糊性」？
在沒有度量監督或已知參考的情況下，單目深度給出正確的相對結構，但絕對尺度不確定。