高斯潑濺
高斯潑濺將 3D 場景表示為數百萬個可以即時渲染的微小、彩色、半透明斑點。
概述
It delivers NeRF-like photorealism while running fast enough for interactive viewing.
深入探討
3D Gaussian Splatting 在 SIGGRAPH 2023 上推出，它可以從 NeRF 等照片重建場景，但使用明確表示法而不是隱藏的神經網路。每個場景都是 3D 高斯雲、模糊橢圓體斑點，每個斑點儲存位置、大小和方向（其協方差）、不透明度和顏色。該方法不是透過網路緩慢地發射光線，而是將這些斑點直接「噴射」到螢幕上並混合它們，這個過程更接近傳統的光柵化，因此速度非常快。訓練從相機校準生成的稀疏點雲開始，然後優化斑點，同時自適應地在場景重建不足的地方添加細節，並在場景過度填充的地方進行修剪。結果是 1080p 的即時渲染，其品質可與最佳的 NeRF 相媲美，這就是它透過圖形和擷取工具迅速傳播的原因。
技術洞察
關鍵是基於可微分塊的光柵化器。 3D 高斯投影為 2D，按深度排序，並按螢幕圖塊進行 alpha 混合，因此渲染避免了導致 NeRF 變慢的每像素光線行進。顏色透過球諧函數存儲，讓每個斑點隨著視角改變外觀以捕獲反射。由於整個流程是可微的，NeRF 使用的相同照片匹配梯度下降可以優化斑點位置、形狀、不透明度和顏色，同時緻密化步驟會增長或分裂高斯以添加缺少的細節。
戰略影響
速度與規模
視覺人工智慧可以大規模自動化檢查、檢測和標記任務。
配裝選擇
創意團隊可以透過更少的手動修改來更快地建立概念原型。
團隊與工作流程
操作可以使用以前難以處理的影像和視訊訊號。
高斯潑濺的未來
Gaussian Splatting 正在迅速從研究轉向 3D 擷取、映射和虛擬製作產品，部分原因是它可以在消費性 GPU 甚至瀏覽器上即時渲染。主動工作的目標是縮小檔案大小（場景可能很大）、處理動態和動畫場景、重新照明和編輯單一物件。預計與遊戲引擎和 AR/VR 更緊密的集成，將 splats 與網格相結合的混合方法，以及從手機視頻中捕獲。在互動速度很重要的地方，它越來越被視為 NeRF 的實用補充或替代品。
現實世界的實施
為網路創建房間或產品的即時、可探索的 3D 捕獲
虛擬製作和電影預覽，具有逼真的可導航設置
透過手機或無人機影片快速 3D 掃描物件和環境
建立在消費性硬體上流暢運行的互動式 AR/VR 場景
風險與防護欄
如果出處不明，肖像權和同意可能會成為法律風險。
模型表現可能因光照、人口統計和環境的不同而有所不同。
除非監控置信閾值，否則誤報可能會被忽略。
實施路線圖
定義精確度、召回率和錯誤成本的接受標準。
使用符合實際生產條件的數據進行測試。
為低置信度或高影響力的預測添加人工審核。
追蹤模型漂移並在相機或資料集變更後重新驗證。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Gaussian Splatting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is Gaussian Splatting?
高斯潑濺將 3D 場景表示為數百萬個可以即時渲染的微小、彩色、半透明斑點。它提供類似 NeRF 的真實感，同時運行速度足夠快，可以進行互動式觀看。
高斯潑濺如何表示 3D 場景？
這個場景是一個明確的 3D 高斯雲，每個高斯雲都是一個具有位置、形狀、不透明度和顏色的模糊橢球體。
為什麼 Gaussian Splatting 的渲染速度比原始 NeRF 快很多？
透過基於圖塊的光柵化來投影和混合斑點可以避免 NeRF 緩慢的每像素光線行進，從而實現即時速度。
每個 3D 高斯儲存什麼資訊？
每個斑點都帶有位置、協方差（大小和方向）、不透明度和顏色資訊。
用什麼讓斑點的顏色隨著視角的變化而改變？
顏色是用球諧函數編碼的，因此每個高斯從不同方向看起來都不同，捕捉反射。
高斯潑濺訓練通常如何開始？
它從運動結構相機校準中的稀疏點開始，然後從那裡優化高斯。