概述
高斯泼溅将 3D 场景表示为数百万个可以实时渲染的微小、彩色、半透明斑点。它提供类似 NeRF 的真实感，同时运行速度足够快，可以进行交互式观看。
高斯泼溅属于计算机视觉工作流程，它解释或生成视觉媒体以进行分析、操作和创造力。
深入探讨
3D Gaussian Splatting 在 SIGGRAPH 2023 上推出，它可以从 NeRF 等照片重建场景，但使用显式表示而不是隐藏的神经网络。每个场景都是 3D 高斯云、模糊椭圆体斑点，每个斑点存储位置、大小和方向（其协方差）、不透明度和颜色。该方法不是通过网络缓慢地发射光线，而是将这些斑点直接“喷射”到屏幕上并混合它们，这个过程更接近传统的光栅化，因此速度非常快。训练从相机校准生成的稀疏点云开始，然后优化斑点，同时自适应地在场景重建不足的地方添加细节，并在场景过度填充的地方进行修剪。结果是 1080p 的实时渲染，其质量可与最好的 NeRF 相媲美，这就是它通过图形和捕获工具迅速传播的原因。
技术洞察
关键是基于可微分块的光栅化器。 3D 高斯投影为 2D，按深度排序，并按屏幕图块进行 alpha 混合，因此渲染避免了导致 NeRF 变慢的每像素光线行进。颜色通过球谐函数存储，让每个斑点随着视角改变外观以捕获反射。由于整个流程是可微的，NeRF 使用的相同照片匹配梯度下降可以优化斑点位置、形状、不透明度和颜色，同时致密化步骤会增长或分裂高斯以添加缺失的细节。
掌握高斯泼溅
高斯泼溅将 3D 场景表示为数百万个可以实时渲染的微小、彩色、半透明斑点。它提供类似 NeRF 的真实感，同时运行速度足够快，可以进行交互式观看。高斯泼溅属于计算机视觉工作流程，它解释或生成视觉媒体以进行分析、操作和创造力。为了建立深入的理解，请将高斯泼溅视为一种操作模型，而不是单一特征：定义期望的结果，澄清假设，并将系统可以可靠地完成的任务与仍需要专家判断的任务分开。
在实践中，使用高斯泼溅法的强大团队可以平衡准确性与数据质量、照明方差和标签一致性等操作现实。他们记录明确的成功标准，根据实际数据和工作流程进行测试，并根据观察到的失败模式而不是一次性基准测试胜利进行迭代。这就是理论理解转变为跨产品、政策和运营的持久能力的地方。
视觉人工智能可以大规模自动化检查、检测和标记任务。同时，如果出处不明，肖像权和同意可能会成为法律风险。最具弹性的方法是将实验速度与治理规则结合起来：运行试点、捕获证据、发布决策日志，并随着模型行为、用户期望和监管要求的发展不断更新保障措施。
战略影响
视觉人工智能可以大规模自动化检查、检测和标记任务。
视觉人工智能可以大规模自动化检查、检测和标记任务。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
创意团队可以通过更少的手动修改更快地构建概念原型。
创意团队可以通过更少的手动修改更快地构建概念原型。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
操作可以使用以前难以处理的图像和视频信号。
操作可以使用以前难以处理的图像和视频信号。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
现实世界的实施
为网络创建房间或产品的实时、可探索的 3D 捕获
虚拟制作和电影预览，具有逼真的可导航设置
通过手机或无人机视频快速 3D 扫描物体和环境
构建在消费类硬件上流畅运行的交互式 AR/VR 场景
实施模式
高斯泼溅实践
为网络创建房间或产品的实时、可探索的 3D 捕获。
为网络创建房间或产品的实时、可探索的 3D 捕获 当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时，通常会获得更好的结果。
高斯泼溅实践
虚拟制作和电影预览，具有逼真、可导航的场景。
使用逼真、可导航的设置进行虚拟制作和电影预可视化 团队在预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时，通常会获得更好的结果。
高斯泼溅实践
通过手机或无人机视频对物体和环境进行快速 3D 扫描。
通过手机或无人机视频对物体和环境进行快速 3D 扫描 团队在预先定义质量阈值、针对边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时，通常会获得更好的结果。
高斯泼溅实践
构建在消费类硬件上流畅运行的交互式 AR/VR 场景。
构建在消费类硬件上平稳运行的交互式 AR/VR 场景 当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时，通常会获得更好的结果。
风险与防护栏
如果出处不明，肖像权和同意可能会成为法律风险。
模型性能可能因光照、人口统计和环境的不同而有所不同。
除非监控置信阈值，否则误报可能会被忽视。
实施路线图
定义精确度、召回率和错误成本的接受标准。
定义精确度、召回率和错误成本的接受标准。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
使用符合实际生产条件的数据进行测试。
使用符合实际生产条件的数据进行测试。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
为低置信度或高影响力的预测添加人工审核。
为低置信度或高影响力的预测添加人工审核。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
跟踪模型漂移并在相机或数据集更改后重新验证。
跟踪模型漂移并在相机或数据集更改后重新验证。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。