概述
它将来自运动的结构的稀疏骨架转变为详细的、表面丰富的 3D 模型。
深入探讨
MVS 假设相机姿态已知（通常来自运动的结构），并专注于恢复密集的几何形状。其核心原则是照片一致性：正确估计的 3D 表面点在投影到看到它的多个图像中时应该看起来相同。算法测试每个像素的候选深度，并选择视图中外观最一致的深度，通常使用平面扫描立体或基于补丁的匹配（如经典的 PMVS 方法）。然后将每个图像的深度图融合到统一的点云或网格中，解决冲突并过滤异常值。处理遮挡、无纹理的墙壁和反射表面是核心难点。 MVSNet 等基于学习的 MVS 网络现在可以构建成本量，并使用 3D 卷积对其进行正则化，以提高鲁棒性。
现实世界的实施
从无人机或航空图像生成密集、详细的建筑物和景观 3D 网格
为电子商务、游戏和 VR 创建对象和产品的高保真 3D 扫描
构建工厂和建筑工地的数字双胞胎以进行检查和规划
从卫星或街道级照片集重建详细的地形和结构
多视图立体的未来
深度学习正在重塑 MVS：像 MVSNet 及其后继者这样的网络可以端到端地学习匹配成本和深度正则化，处理弱纹理和反射表面的能力远远优于手动调整的方法。该领域还与神经渲染融合——Gaussian Splatting 和 NeRF 提供了替代的密集重建——推动 MVS 走向更高的保真度、更快的运行时间以及用于 AR、机器人、数字孪生和大规模 3D 城市测绘的度量精确模型。
付诸实践
为什么这很重要
- 速度与规模. 视觉人工智能可以大规模自动化检查、检测和标记任务。
- 构建选择. 创意团队可以通过更少的手动修改更快地构建概念原型。
- 团队与工作流程. 操作可以使用以前难以处理的图像和视频信号。
留意
- 如果出处不明，肖像权和同意可能会成为法律风险。
- 模型性能可能因光照、人口统计和环境的不同而有所不同。
- 除非监控置信阈值，否则误报可能会被忽视。
后续步骤
- 定义精确度、召回率和错误成本的接受标准。
- 使用符合实际生产条件的数据进行测试。
- 为低置信度或高影响力的预测添加人工审核。
- 跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
常见问题
什么是多视图立体？
多视图立体 (MVS) 拍摄场景的多张校准照片，并通过估计几乎每个像素的深度来生成密集的 3D 重建。它将来自运动的结构的稀疏骨架转变为详细的、表面丰富的 3D 模型。
多视图立体通常假设在开始之前已知什么？
MVS 依赖于校准的相机位置（通常由 Motion 的 Structure 提供），并专注于密集深度。
MVS 使用什么核心原理来找到正确的 3D 点？
当投影到观察它的所有图像时，正确的表面点应该看起来一致。
MVS 与 Structure from Motion 的输出有何不同？
SfM 产生稀疏的支架； MVS 将其致密化为几乎覆盖每个像素的详细表面。
平面扫频立体声有什么作用？
它通过扫描平面并计算每一层的匹配成本来测试许多候选深度。
哪些表面对于 MVS 来说特别具有挑战性？
空白的墙壁缺乏可匹配的功能，镜子/闪亮的表面违反了照片一致性，破坏了标准匹配。