概述
它使强大的通用深度传感变得廉价且适用于从手机到机器人的任何事物。
深入探讨
DepthAnything（2024，由 TikTok/ByteDance 和 HKU 等研究人员发布）解决单目深度估计问题：根据一张 RGB 图像预测深度图。它的突破在于规模：该团队不再仅仅依赖于有限的可用标记深度数据，而是构建了一个引擎，使用教师模型自动标记大约 6200 万张未标记照片，然后在这个庞大的语料库上训练学生。这在室内、室外和不寻常的场景中提供了强大的零样本概括。原始输出相对深度（像素更近或更远，而不是精确的米）。 DepthAnything V2（2024 年中）通过对教师进行具有完美地面实况的合成数据培训，然后提取真实图像、修复模糊边缘和透明对象错误，锐化了精细细节。
现实世界的实施
生成深度图以在单镜头智能手机人像照片中驱动逼真的背景模糊（散景）。
为缺乏 LiDAR 或立体摄像头的低成本无人机和机器人提供 3D 障碍物感知。
为 ControlNet 创建深度调节图，以便图像生成器保留场景几何形状。
将 2D 照片和影片转换为 3D 或视差效果，用于 VR 和立体显示。
DepthAnything 单目深度的未来
预计会更紧密地集成到 AR 眼镜、智能手机摄像头和机器人中，而专用 LiDAR 成本太高或体积太大。输出真实米的公制变体，加上具有时间稳定深度（帧之间无闪烁）的视频模型，正在快速发展。随着这些模型缩小到在设备上实时运行，单摄像头 3D 感知将成为默认功能，为空间计算、自主导航和生成 3D 场景重建提供支持。
付诸实践
为什么这很重要
- 速度与规模. 视觉人工智能可以大规模自动化检查、检测和标记任务。
- 构建选择. 创意团队可以通过更少的手动修改更快地构建概念原型。
- 团队与工作流程. 操作可以使用以前难以处理的图像和视频信号。
留意
- 如果出处不明，肖像权和同意可能会成为法律风险。
- 模型性能可能因光照、人口统计和环境的不同而有所不同。
- 除非监控置信阈值，否则误报可能会被忽视。
后续步骤
- 定义精确度、召回率和错误成本的接受标准。
- 使用符合实际生产条件的数据进行测试。
- 为低置信度或高影响力的预测添加人工审核。
- 跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
常见问题
什么是 DepthAnything 单目深度？
DepthAnything 是一个基础模型，无需特殊硬件即可估计每个像素与单张普通照片的距离。它使强大的通用深度传感变得廉价且适用于从手机到机器人的任何事物。
“单目”深度估计是什么意思？
单目意味着深度是从一个（单）相机图像推断出来的，没有立体对或有源传感器。
DepthAnything 实现强泛化的主要策略是什么？
该团队构建了一个数据引擎，对数千万张未标记的照片进行了伪标记，极大地扩大了训练规模。
DepthAnything 基于什么主干编码器构建？
DepthAnything 使用 DINOv2 ViT 编码器与 DPT 式密集预测头配对。
原来的DepthAnything主要输出什么样的深度？
基本模型预测相对深度排序而不是绝对度量距离。
DepthAnything V2 如何改善精细细节和边缘？
V2 对老师进行了具有精确深度的合成图像的培训，然后将其提取为真实照片以获得更清晰的边界。