概述
It matters because it made high-quality 3D scene capture fast enough to feel almost interactive.
深入探讨
即时神经图形基元（NVIDIA，2022）攻击了 NeRF 的主要瓶颈：必须查询数百万次的大型 MLP。 Instant-NGP 使用多分辨率哈希编码，而不是使用固定正弦特征并依赖大型网络对 3D 位置进行编码。空间由多个不同分辨率的网格覆盖；每个网格单元通过空间哈希函数映射到可学习特征向量的紧凑表中。为了对点进行编码，系统会查找每个分辨率级别的特征并进行三线性插值，将它们连接起来，然后将其输入到一个微型 MLP 中。由于大多数学习到的表示都存在于查找表中，并且只保留了一个小网络，因此训练和渲染的速度要快几个数量级，通常将几个小时缩短为几秒钟。
现实世界的实施
在几秒钟内将一组手机照片中的真实物体或房间捕捉到 NeRF 中
拟合神经符号距离函数以实现快速 3D 形状表示
将十亿像素图像压缩并表示为连续神经场
支持研究工具包和 VFX 预可视化中的快速场景重建
Instant-NGP 哈希编码的未来
哈希网格编码已成为远远超出原始 NeRF 演示的默认构建块，用于实时视图合成、SDF 和千兆像素图像拟合、模拟，并作为 Nerfstudio 等工具包的骨干。虽然高斯泼溅现在在原始渲染速度上展开竞争，但哈希编码仍然是需要紧凑、平滑、可查询神经场的核心，并且正在进行的工作将两者融合在一起，并推动更大、动态和可流化的场景。
付诸实践
为什么这很重要
- 速度与规模. 视觉人工智能可以大规模自动化检查、检测和标记任务。
- 构建选择. 创意团队可以通过更少的手动修改更快地构建概念原型。
- 团队与工作流程. 操作可以使用以前难以处理的图像和视频信号。
留意
- 如果出处不明，肖像权和同意可能会成为法律风险。
- 模型性能可能因光照、人口统计和环境的不同而有所不同。
- 除非监控置信阈值，否则误报可能会被忽视。
后续步骤
- 定义精确度、召回率和错误成本的接受标准。
- 使用符合实际生产条件的数据进行测试。
- 为低置信度或高影响力的预测添加人工审核。
- 跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
常见问题
What is Instant-NGP Hash Encoding?
Instant-NGP 是 NVIDIA 的技术，通过将可学习的特征存储在多分辨率哈希表中，可以在几秒钟（而不是几小时）内训练神经辐射场和其他神经图形基元。这很重要，因为它使高质量 3D 场景捕捉速度足够快，让人感觉几乎是交互式的。
Instant-NGP 所针对的经典 NeRF 的主要瓶颈是什么？
经典的 NeRF 依赖于经常被查询的大型 MLP； Instant-NGP 缩小了该工作以加速训练和渲染。
Instant-NGP 在哪里存储其大部分可学习参数？
可学习的特征存在于多分辨率哈希表中，只留下一个很小的 MLP 来组合查找的特征。
多个分辨率级别的特征如何组合？
每个级别的特征在传递到小型 MLP 之前都会进行三线性插值和连接。
Instant-NGP 如何处理其精细分辨率表中的哈希冲突？
允许碰撞；高密度区域产生更强的梯度，因此小型 MLP 和优化学习解决共享槽。
Instant-NGP 大约可以加速 NeRF 训练多少？
通过将表示转移到哈希表中并缩小 MLP，花费数小时的训练可以在几秒钟内完成。