概述
高斯潑濺將 3D 場景表示為數百萬個可以即時渲染的微小、彩色、半透明斑點。它提供類似 NeRF 的真實感，同時運行速度足夠快，可以進行互動式觀看。
高斯潑濺屬於電腦視覺工作流程，它解釋或產生視覺媒體以進行分析、操作和創造力。
深入探討
3D Gaussian Splatting 在 SIGGRAPH 2023 上推出，它可以從 NeRF 等照片重建場景，但使用明確表示法而不是隱藏的神經網路。每個場景都是 3D 高斯雲、模糊橢圓體斑點，每個斑點儲存位置、大小和方向（其協方差）、不透明度和顏色。該方法不是透過網路緩慢地發射光線，而是將這些斑點直接「噴射」到螢幕上並混合它們，這個過程更接近傳統的光柵化，因此速度非常快。訓練從相機校準生成的稀疏點雲開始，然後優化斑點，同時自適應地在場景重建不足的地方添加細節，並在場景過度填充的地方進行修剪。結果是 1080p 的即時渲染，其品質可與最佳的 NeRF 相媲美，這就是它透過圖形和擷取工具迅速傳播的原因。
技術洞察
關鍵是基於可微分塊的光柵化器。 3D 高斯投影為 2D，按深度排序，並按螢幕圖塊進行 alpha 混合，因此渲染避免了導致 NeRF 變慢的每像素光線行進。顏色透過球諧函數存儲，讓每個斑點隨著視角改變外觀以捕獲反射。由於整個流程是可微的，NeRF 使用的相同照片匹配梯度下降可以優化斑點位置、形狀、不透明度和顏色，同時緻密化步驟會增長或分裂高斯以添加缺少的細節。
掌握高斯潑濺
高斯潑濺將 3D 場景表示為數百萬個可以即時渲染的微小、彩色、半透明斑點。它提供類似 NeRF 的真實感，同時運行速度足夠快，可以進行互動式觀看。高斯潑濺屬於電腦視覺工作流程，它解釋或產生視覺媒體以進行分析、操作和創造力。為了建立深入的理解，請將高斯潑濺視為操作模型，而不是單一特徵：定義期望的結果，澄清假設，並將系統可以可靠地完成的任務與仍需要專家判斷的任務分開。
在實踐中，使用高斯潑濺法的強大團隊可以平衡準確性與資料品質、照明方差和標籤一致性等操作現實。他們記錄明確的成功標準，根據實際數據和工作流程進行測試，並根據觀察到的失敗模式而不是一次性基準測試勝利進行迭代。這就是理論理解轉變為跨產品、政策和營運的持久能力的地方。
視覺人工智慧可以大規模自動化檢查、檢測和標記任務。同時，如果出處不明，肖像權和同意可能會成為法律風險。最具彈性的方法是將實驗速度與治理規則結合：運行試點、捕獲證據、發布決策日誌，並隨著模型行為、使用者期望和監管要求的發展不斷更新保障措施。
戰略影響
視覺人工智慧可以大規模自動化檢查、檢測和標記任務。
視覺人工智慧可以大規模自動化檢查、檢測和標記任務。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
創意團隊可以透過更少的手動修改來更快地建立概念原型。
創意團隊可以透過更少的手動修改來更快地建立概念原型。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
操作可以使用以前難以處理的影像和視訊訊號。
操作可以使用以前難以處理的影像和視訊訊號。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
現實世界的實施
為網路創建房間或產品的即時、可探索的 3D 捕獲
虛擬製作和電影預覽，具有逼真的可導航設置
透過手機或無人機影片快速 3D 掃描物件和環境
建立在消費性硬體上流暢運行的互動式 AR/VR 場景
實施模式
高斯潑濺實踐
為網路建立房間或產品的即時、可探索的 3D 捕獲。
為網路建立房間或產品的即時、可探索的 3D 捕獲 當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並追蹤一段時間內的生產力提升和錯誤成本時，通常會獲得更好的結果。
高斯潑濺實踐
虛擬製作和電影預覽，具有逼真、可導航的場景。
使用逼真、可導航的設定進行虛擬製作和電影預視覺化 團隊在預先定義品質閾值、為邊緣情況保留人工升級路徑並追蹤一段時間內的生產力提升和錯誤成本時，通常會獲得更好的結果。
高斯潑濺實踐
透過手機或無人機視訊對物件和環境進行快速 3D 掃描。
透過手機或無人機視訊對物件和環境進行快速 3D 掃描 團隊在預先定義品質閾值、針對邊緣情況保留人工升級路徑並追蹤一段時間內的生產力提升和錯誤成本時，通常會獲得更好的結果。
高斯潑濺實踐
建立在消費性硬體上流暢運行的互動式 AR/VR 場景。
建立在消費性硬體上平穩運行的互動式 AR/VR 場景 當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並追蹤一段時間內的生產力提升和錯誤成本時，通常會獲得更好的結果。
風險與防護欄
如果出處不明，肖像權和同意可能會成為法律風險。
模型表現可能因光照、人口統計和環境的不同而有所不同。
除非監控置信閾值，否則誤報可能會被忽略。
實施路線圖
定義精確度、召回率和錯誤成本的接受標準。
定義精確度、召回率和錯誤成本的接受標準。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
使用符合實際生產條件的數據進行測試。
使用符合實際生產條件的數據進行測試。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
為低置信度或高影響力的預測添加人工審核。
為低置信度或高影響力的預測添加人工審核。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
追蹤模型漂移並在相機或資料集變更後重新驗證。
追蹤模型漂移並在相機或資料集變更後重新驗證。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。