概述
该论文报告称，在其评估的基准测试中，其质量与 NeRF 相当，但优化时间要短得多；速度和质量取决于场景和实现。
深入探讨
Plenoxels（Fridovich-Keil、Yu 及其同事，2022 年）使用稀疏 3D 网格表示场景，在被占用的体素中存储不透明度以及用于视角相关颜色的球面谐波系数。它直接使用基于梯度的方和正则化来优化这些参数，而无需 MLP。渲染沿射线使用三线性插值和标准体绘制。在该论文的基准设置下，Plenoxels 实现了与 NeRF 相当的质量，同时将优化时间缩短了大约两个数量级；作者报告称，在单个 Titan RTX 上，典型有界场景大约需要 11 分钟，而 NeRF 大约需要一天。这些时间特定于他们的实现和设置。
现实世界的实施
在有界场景上比较显式体素网格优化与神经辐射场
检查辐射场表示所使用的不透明度和视角相关颜色系数
当场景的大部分体素容积为空时测试稀疏存储
使用全变分正则化来鼓励空间上更平滑的体素系数
Plenoxels 和体素辐射场的未来
显式辐射表示将继续与神经场和基于点的方法进行比较。它们的权衡包括内存使用、场景边界、优化速度和编辑便利性。Plenoxels 仍然是一个有用的结果，证明了显式场景参数的直接优化在特定基准条件下可以取得很好的效果。
付诸实践
为什么这很重要
- 速度与规模. 视觉人工智能可以大规模自动化检查、检测和标记任务。
- 构建选择. 创意团队可以通过更少的手动修改更快地构建概念原型。
- 团队与工作流程. 操作可以使用以前难以处理的图像和视频信号。
留意
- 如果出处不明，肖像权和同意可能会成为法律风险。
- 模型性能可能因光照、人口统计和环境的不同而有所不同。
- 除非监控置信阈值，否则误报可能会被忽视。
后续步骤
- 定义精确度、召回率和错误成本的接受标准。
- 使用符合实际生产条件的数据进行测试。
- 为低置信度或高影响力的预测添加人工审核。
- 跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
常见问题
什么是普洛克瑟尔和体素辐射场？
Plenoxels（光场体素，plenoptic voxels）是一种显式辐射场表示，它将场景值存储在稀疏体素网格中，并在没有神经网络的情况下对其进行优化。该论文报告称，在其评估的基准测试中，其质量与 NeRF 相当，但优化时间要短得多；速度 and 质量取决于场景和实现。
与 NeRF 相比，Plenoxels 最令人惊讶的设计选择是什么？
Plenoxels 将场景直接存储在体素网格中并优化这些值，管道中没有神经网络。
Plenoxels 中的每个占用体素存储什么来捕获依赖于视图的颜色？
每个体素都包含每个颜色通道的不透明度和球谐系数，这些系数对颜色如何随观察方向变化进行编码。
Plenoxels 论文在其评估的基准测试中报告了怎样的优化时间比较？
该论文报告称，在其基准设置下，优化速度快了大约 100 倍，在单个 Titan RTX 上处理典型有界场景约需 11 分钟；但这并非对每个场景或实现都能保证。
如何沿着射线从体素网格获取值？
Plenoxels 使用可微分三线性插值来平滑地读取体素中心之间的颜色和不透明度。
Plenoxels 的基准测试结果支持什么结论？
作者展示了一种无网络的体素表示，在其评估的基准任务上达到了相当的质量；该结果并没有确立网络在总体上是无关紧要的。