概述
它表明您可以将生成器丰富的视觉知识转变为精确的感知工具，而训练数据却少得惊人。
深入探讨
Marigold（苏黎世联邦理工学院，CVPR 2024 最佳论文荣誉奖）将深度估计重新定义为条件生成问题。它不是从头开始训练深度网络，而是微调稳定扩散以“生成”以输入图像为条件的深度图。我们的见解是，经过训练来合成真实感图像的模型已经在其潜在空间深处学习了场景几何、光照和结构，这正是对深度有用的先验知识。值得注意的是，Marigold 仅在合成数据集（如 Hypersim 和 Virtual KITTI）上进行了微调，但可以很好地推广到零拍摄的真实照片。它产生具有极其精细细节的仿射不变相对深度，尽管迭代去噪使其比 DepthAnything 等前馈模型慢。
现实世界的实施
从建筑和产品照片中提取细粒度的深度，用于重新照明和 3D 模型。
生成高细节深度图，用作可控图像和视频生成的条件。
帮助电影和视觉特效团队进行边缘精度至关重要的哑光和视差工作。
作为研究基线，展示如何使生成先验适应密集的预测任务。
万寿菊扩散深度估计的未来
万寿菊配方，微调扩散先验以进行密集预测，正在超越深度推广到表面法线、内在图像分解和材料估计。更快的蒸馏和一致性模型变体正在缩小与前馈网络的速度差距，使得基于扩散的感知在交互工具中可行。预计会有一种更广泛的趋势，即一个预训练的生成主干适用于许多几何和感知任务，从而减少对大型特定任务标记数据集的需求。
付诸实践
为什么这很重要
- 速度与规模. 视觉人工智能可以大规模自动化检查、检测和标记任务。
- 构建选择. 创意团队可以通过更少的手动修改更快地构建概念原型。
- 团队与工作流程. 操作可以使用以前难以处理的图像和视频信号。
留意
- 如果出处不明，肖像权和同意可能会成为法律风险。
- 模型性能可能因光照、人口统计和环境的不同而有所不同。
- 除非监控置信阈值，否则误报可能会被忽视。
后续步骤
- 定义精确度、召回率和错误成本的接受标准。
- 使用符合实际生产条件的数据进行测试。
- 为低置信度或高影响力的预测添加人工审核。
- 跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
常见问题
什么是 Marigold 扩散深度估计？
Marigold 重新利用预训练的图像生成扩散模型（稳定扩散）来预测高度详细的深度图。它表明您可以将生成器丰富的视觉知识转变为精确的感知工具，而训练数据却少得惊人。
Marigold 建立在什么预训练模型之上？
Marigold 微调稳定扩散潜在扩散模型以生成深度图。
Marigold 如何构建深度估计任务？
它将深度视为根据输入图像“生成”的东西，重用扩散机制。
Marigold 的训练数据有什么令人惊讶的地方？
Marigold 在 Hypersim 和 Virtual KITTI 等合成数据上进行了微调，但将零镜头推广到真实照片。
为什么 Marigold 通常比前馈深度模型慢？
扩散模型会通过多个步骤进行降噪，从而使推理速度比单个前向传播慢。
万寿菊在什么空间进行扩散过程？
图像和深度都被编码到 U-Net 去噪的 VAE 潜在空间中。