单目深度估计
单目深度估计可预测每个像素与单张普通照片的距离 - 无需立体相机、激光雷达或深度传感器。
概述
It lets one camera perceive 3D structure from a flat 2D image.
深入探讨
人类可以利用透视、相对大小、纹理梯度、阴影和遮挡等线索来判断一只眼睛的深度。单目深度估计教会神经网络同样的技巧：输入单个 RGB 图像并输出每个像素的深度值。由于 2D 图像本质上在绝对比例上不明确，因此任务很困难 - 许多 3D 场景可以投影到同一张图片。网络从大型数据集中学习统计先验来解决这个问题。训练有两种形式：监督式，使用激光雷达或 RGB-D 传感器的地面实况深度；自我监督式，通过强制预测深度正确地将一个视图重新投影到另一个视图中，纯粹从视频或立体对中学习深度。最近的基础模型（例如 MiDaS 和 Depth Anything）在未见过的场景中具有显着的泛化能力。
技术洞察
自监督方法利用几何而不是标签。给定两个视图（立体或连续视频帧）和预测深度图加上相机运动，模型会扭曲一个图像以重建另一个图像；像素级重建误差成为训练信号。这种“视图合成”损失意味着可以从原始的、未标记的视频中学习深度。一个关键的限制是尺度模糊性：单目深度通常只能正确到未知的乘数，除非根据已知的参考或度量监督进行校准。
战略影响
速度与规模
视觉人工智能可以大规模自动化检查、检测和标记任务。
构建选择
创意团队可以通过更少的手动修改更快地构建概念原型。
团队与工作流程
操作可以使用以前难以处理的图像和视频信号。
单目深度估计的未来
在数百万张混合图像上训练的通用深度基础模型正在推动任何场景中的可靠、公制（真实比例）深度，甚至是在训练中从未见过的场景。期望与光流和 SLAM 更紧密地融合以实现全 3D 场景重建、在手机和耳机上实时运行的更轻的模型以及更强的零样本鲁棒性。这将使丰富的空间感知变得廉价且无处不在，可以通过任何单个相机而不是昂贵的深度传感设备获得。
现实世界的实施
智能手机肖像模式通过估计主体与背景距离来模拟背景模糊（散景）
增强现实应用程序放置虚拟对象，以便它们正确地位于现实世界的家具后面
无人机和低成本机器人使用单个前置摄像头避开障碍物
通过推断立体显示的每像素深度，将 2D 照片和影片转换为 3D
风险与防护栏
如果出处不明，肖像权和同意可能会成为法律风险。
模型性能可能因光照、人口统计和环境的不同而有所不同。
除非监控置信阈值，否则误报可能会被忽视。
实施路线图
定义精确度、召回率和错误成本的接受标准。
使用符合实际生产条件的数据进行测试。
为低置信度或高影响力的预测添加人工审核。
跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Monocular Depth Estimation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Monocular Depth Estimation?
单目深度估计可预测每个像素与单张普通照片的距离 - 无需立体相机、激光雷达或深度传感器。它可以让一台相机从平面 2D 图像中感知 3D 结构。
是什么让深度估计成为“单目”？
“单眼”是指一只眼睛/相机；该方法无需立体或主动深度传感器即可从单个 RGB 图像预测深度。
为什么单目深度估计从根本上来说是不明确的？
单个 2D 投影会丢失比例信息，因此多个 3D 排列与一幅图像保持一致；网络依靠学习先验来消除歧义。
自监督方法如何在没有真实标签的情况下学习深度？
使用预测的深度和相机运动，该模型将一幅图像重新投影到另一幅图像上；光度误差提供学习信号，不需要标签。
单目网络不直接依赖哪种线索来获得深度？
立体视差需要两个摄像头；单目方法依赖于单图像线索，如大小、透视、纹理和遮挡。
什么是单眼深度中的“尺度模糊性”？
在没有度量监督或已知参考的情况下，单目深度给出正确的相对结构，但绝对尺度不确定。