概述
点云处理是机器清理、组织和理解这些原始三维点以识别、分割和导航世界的方式。
深入探讨
点云是无序的、不规则间隔的，并且没有固定的网格，这使得它们对于为整齐的像素阵列构建的标准图像神经网络来说很尴尬。数据也稀疏且通常庞大：一次 LiDAR 扫描可以容纳数十万个点。处理管道通常会进行下采样（例如体素网格）、去除噪声和异常值、估计表面法线，并使用迭代最近点等算法将多个扫描注册到一个坐标系中。为了便于理解，PointNet 率先使用共享的每点网络以及忽略排序的对称最大池步骤直接在原始点上进行学习。后来的模型（如 PointNet++、KPConv 和稀疏 3D 卷积）捕获局部邻域，从而实现 3D 对象检测、语义分割和形状分类。
现实世界的实施
自动驾驶车辆实时处理激光雷达点云，以检测汽车、骑自行车的人和行人，并绘制可驾驶空间的地图。
测量员和施工团队使用激光扫描仪的点云创建竣工 3D 模型并检测结构变化。
文化遗产项目将雕像和建筑物扫描成密集点云，以进行数字保存和修复。
机器人使用深度相机点云进行垃圾箱拾取、抓取不规则零件以及在杂乱空间中避障。
点云处理的未来
点变换器和基于注意力的模型正在改进系统推理远程 3D 结构的方式。 LiDAR 点与相机图像的更紧密融合可以产生更丰富、更强大的自主感知。对大规模未标记扫描进行自我监督预训练正在降低标记成本，而稀疏和量化网络则将实时处理推向车辆和机器人。高斯泼溅和隐式场等神经表示越来越多地补充原始云，模糊了基于点的 3D 场景模型和连续 3D 场景模型之间的界限。
付诸实践
为什么这很重要
- 速度与规模. 视觉人工智能可以大规模自动化检查、检测和标记任务。
- 构建选择. 创意团队可以通过更少的手动修改更快地构建概念原型。
- 团队与工作流程. 操作可以使用以前难以处理的图像和视频信号。
留意
- 如果出处不明，肖像权和同意可能会成为法律风险。
- 模型性能可能因光照、人口统计和环境的不同而有所不同。
- 除非监控置信阈值，否则误报可能会被忽视。
后续步骤
- 定义精确度、召回率和错误成本的接受标准。
- 使用符合实际生产条件的数据进行测试。
- 为低置信度或高影响力的预测添加人工审核。
- 跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
常见问题
什么是点云处理？
点云是一组 3D 点（X、Y、Z），通常通过 LiDAR 或深度传感器捕获真实物体和空间的形状。点云处理是机器清理、组织和理解这些原始 3D 点以识别、分割和导航世界的方式。
什么是点云？
点云是一组具有 X、Y、Z 坐标（有时还加上颜色或强度）的点，用于捕获对象和场景的几何形状。
为什么标准图像 CNN 不能直接应用于点云？
图像 CNN 假设固定的像素网格，但点云是不规则且无序的，因此需要专门的架构。
点云网络必须尊重哪些关键属性？
由于相同的云可以按任何顺序列出，因此无论点顺序如何，网络都必须产生相同的输出。
PointNet是如何实现顺序无关的？
PointNet 使用共享网络处理每个点，然后使用最大池化进行聚合，这是对称的并且忽略排序。
迭代最近点 (ICP) 算法有什么作用？
ICP 迭代地匹配两次扫描之间的附近点，并找到最能对齐它们的刚性变换，用于配准。