高斯泼溅
高斯泼溅将 3D 场景表示为数百万个可以实时渲染的微小、彩色、半透明斑点。
概述
It delivers NeRF-like photorealism while running fast enough for interactive viewing.
深入探讨
3D Gaussian Splatting 在 SIGGRAPH 2023 上推出，它可以从 NeRF 等照片重建场景，但使用显式表示而不是隐藏的神经网络。每个场景都是 3D 高斯云、模糊椭圆体斑点，每个斑点存储位置、大小和方向（其协方差）、不透明度和颜色。该方法不是通过网络缓慢地发射光线，而是将这些斑点直接“喷射”到屏幕上并混合它们，这个过程更接近传统的光栅化，因此速度非常快。训练从相机校准生成的稀疏点云开始，然后优化斑点，同时自适应地在场景重建不足的地方添加细节，并在场景过度填充的地方进行修剪。结果是 1080p 的实时渲染，其质量可与最好的 NeRF 相媲美，这就是它通过图形和捕获工具迅速传播的原因。
技术洞察
关键是基于可微分块的光栅化器。 3D 高斯投影为 2D，按深度排序，并按屏幕图块进行 alpha 混合，因此渲染避免了导致 NeRF 变慢的每像素光线行进。颜色通过球谐函数存储，让每个斑点随着视角改变外观以捕获反射。由于整个流程是可微的，NeRF 使用的相同照片匹配梯度下降可以优化斑点位置、形状、不透明度和颜色，同时致密化步骤会增长或分裂高斯以添加缺失的细节。
战略影响
速度与规模
视觉人工智能可以大规模自动化检查、检测和标记任务。
构建选择
创意团队可以通过更少的手动修改更快地构建概念原型。
团队与工作流程
操作可以使用以前难以处理的图像和视频信号。
高斯泼溅的未来
Gaussian Splatting 正在迅速从研究转向 3D 捕获、映射和虚拟制作产品，部分原因是它可以在消费类 GPU 甚至浏览器上实时渲染。主动工作的目标是缩小文件大小（场景可能很大）、处理动态和动画场景、重新照明和编辑单个对象。预计与游戏引擎和 AR/VR 更紧密的集成，将 splats 与网格相结合的混合方法，以及从手机视频中捕获。在交互速度很重要的地方，它越来越被视为 NeRF 的实用补充或替代品。
现实世界的实施
为网络创建房间或产品的实时、可探索的 3D 捕获
虚拟制作和电影预览，具有逼真的可导航设置
通过手机或无人机视频快速 3D 扫描物体和环境
构建在消费类硬件上流畅运行的交互式 AR/VR 场景
风险与防护栏
如果出处不明，肖像权和同意可能会成为法律风险。
模型性能可能因光照、人口统计和环境的不同而有所不同。
除非监控置信阈值，否则误报可能会被忽视。
实施路线图
定义精确度、召回率和错误成本的接受标准。
使用符合实际生产条件的数据进行测试。
为低置信度或高影响力的预测添加人工审核。
跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Gaussian Splatting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Gaussian Splatting?
高斯泼溅将 3D 场景表示为数百万个可以实时渲染的微小、彩色、半透明斑点。它提供类似 NeRF 的真实感，同时运行速度足够快，可以进行交互式观看。
高斯泼溅如何表示 3D 场景？
该场景是一个明确的 3D 高斯云，每个高斯云都是一个具有位置、形状、不透明度和颜色的模糊椭球体。
为什么 Gaussian Splatting 的渲染速度比原始 NeRF 快得多？
通过基于图块的光栅化来投影和混合斑点可以避免 NeRF 缓慢的每像素光线行进，从而实现实时速度。
每个 3D 高斯存储什么信息？
每个斑点都带有位置、协方差（大小和方向）、不透明度和颜色信息。
用什么来让斑点的颜色随着视角的变化而变化？
颜色是用球谐函数编码的，因此每个高斯从不同方向看起来都不同，捕获反射。
高斯泼溅训练通常如何开始？
它从运动结构相机校准中的稀疏点开始，然后从那里优化高斯。