概述
這很重要,因為它使高品質 3D 場景捕捉速度足夠快,讓人感覺幾乎是互動的。
深入探討
即時神經圖形基元(NVIDIA,2022)攻擊了 NeRF 的主要瓶頸:必須查詢數百萬次的大型 MLP。 Instant-NGP 使用多重解析度雜湊編碼,而不是使用固定正弦特徵並依賴大型網路對 3D 位置進行編碼。空間由多個不同解析度的網格覆蓋;每個網格單元透過空間雜湊函數映射到可學習特徵向量的緊湊表中。為了對點進行編碼,系統會尋找每個解析度等級的特徵並進行三線性插值,將它們連接起來,然後將其輸入到一個微型 MLP 中。由於大多數學習到的表示都存在於查找表中,並且只保留了一個小網絡,因此訓練和渲染的速度要快幾個數量級,通常將幾個小時縮短為幾秒鐘。
現實世界的實施
在幾秒鐘內將一組手機照片中的真實物體或房間捕捉到 NeRF 中
擬合神經符號距離函數以實現快速 3D 形狀表示
將十億像素影像壓縮並表示為連續神經場
支援研究工具包和 VFX 預視覺化中的快速場景重建
Instant-NGP 哈希編碼的未來
哈希網格編碼已成為遠遠超出原始 NeRF 演示的預設構建塊,用於即時視圖合成、SDF 和千兆像素圖像擬合、模擬,並作為 Nerfstudio 等工具包的骨幹。雖然高斯潑濺現在在原始渲染速度上展開競爭,但哈希編碼仍然是需要緊湊、平滑、可查詢神經場的核心,並且正在進行的工作將兩者融合在一起,並推動更大、動態和可流化的場景。
付諸實踐
為什麼這很重要
- 速度與規模. 視覺人工智慧可以大規模自動化檢查、檢測和標記任務。
- 配裝選擇. 創意團隊可以透過更少的手動修改來更快地建立概念原型。
- 團隊與工作流程. 操作可以使用以前難以處理的影像和視訊訊號。
留意
- 如果出處不明,肖像權和同意可能會成為法律風險。
- 模型表現可能因光照、人口統計和環境的不同而有所不同。
- 除非監控置信閾值,否則誤報可能會被忽略。
後續步驟
- 定義精確度、召回率和錯誤成本的接受標準。
- 使用符合實際生產條件的數據進行測試。
- 為低置信度或高影響力的預測添加人工審核。
- 追蹤模型漂移並在相機或資料集變更後重新驗證。
不斷探索
常見問題
什麼是 Instant-NGP 哈希編碼?
Instant-NGP 是 NVIDIA 的技術,透過將可學習的特徵儲存在多解析度雜湊表中,可以在幾秒鐘(而不是幾小時)內訓練神經輻射場和其他神經圖形基元。這很重要,因為它使高品質 3D 場景捕捉速度足夠快,讓人感覺幾乎是互動的。
Instant-NGP 所針對的經典 NeRF 的主要瓶頸是什麼?
經典的 NeRF 依賴經常被查詢的大型 MLP; Instant-NGP 縮小了該工作以加速訓練和渲染。
Instant-NGP 在哪裡儲存其大部分可學習參數?
可學習的特徵存在於多解析度雜湊表中,只留下一個很小的 MLP 來組合查找的特徵。
多个分辨率级别的特征如何组合?
每個層級的特徵在傳遞到小型 MLP 之前都會進行三線性插值和連接。
Instant-NGP 如何處理其精細解析度表中的雜湊衝突?
Collisions are allowed;高密度區域產生更強的梯度,因此小型 MLP 和最佳化學習解決共享槽。
Instant-NGP 大約可以加速 NeRF 訓練多少?
透過將表示轉移到雜湊表中並縮小 MLP,花費數小時的訓練可以在幾秒鐘內完成。