ガウス スプラッティング
ガウス スプラッティングは、リアルタイムでレンダリングできる何百万もの小さな色付きの半透明の塊として 3D シーンを表します。
概要
It delivers NeRF-like photorealism while running fast enough for interactive viewing.
ディープダイブ
SIGGRAPH 2023 で導入された 3D ガウス スプラッティングは、NeRF と同様に写真からシーンを再構築しますが、隠されたニューラル ネットワークの代わりに明示的な表現を使用します。各シーンは 3D ガウスのクラウド、ファジーな楕円体ブロブであり、各ブロブには位置、サイズと方向 (その共分散)、不透明度、および色が保存されます。この方法では、ネットワークを通じてレイをゆっくりと発射するのではなく、これらのブロブを画面上に直接「スプラット」してブレンドします。これは従来のラスター化に近いプロセスであるため、非常に高速です。トレーニングは、カメラ キャリブレーションによって生成されたまばらな点群から開始され、シーンが再構築されていない部分には適応的に詳細を追加し、シーンが過密になっている部分は削除しながらブロブを最適化します。その結果、最高の NeRF に匹敵する品質を備えた 1080p でのリアルタイム レンダリングが可能になり、グラフィックスやキャプチャ ツールを通じて急速に普及しました。
技術的な洞察
鍵となるのは、微分可能なタイルベースのラスタライザーです。 3D ガウスは 2D に投影され、深さによって並べ替えられ、画面タイルごとにアルファ ブレンドされるため、レンダリングでは NeRF の速度を低下させるピクセルごとのレイ マーチングが回避されます。色は球面調和関数で保存され、各ブロブの外観が視野角に応じて変化し、反射を捉えることができます。パイプライン全体が微分可能であるため、NeRF で使用されるのと同じフォトマッチング勾配降下法によりブロブの位置、形状、不透明度、色が最適化され、同時に高密度化ステップでガウス分布が拡大または分割され、欠落している詳細が追加されます。
戦略的影響
速度とスケール
Visual AI は、検査、検出、タグ付けタスクを大規模に自動化できます。
ビルドの選択
クリエイティブ チームは、手動での修正を減らし、より迅速にコンセプトのプロトタイプを作成できます。
チームとワークフロー
以前は処理が困難であった画像信号やビデオ信号を操作に使用できるようになります。
ガウス スプラッティングの将来
Gaussian Splatting は、コンシューマ GPU やブラウザ上でリアルタイムにレンダリングできることもあり、研究から 3D キャプチャ、マッピング、仮想制作のための製品へと急速に移行しています。アクティブな作業では、ファイル サイズの縮小 (シーンが大きくなる可能性があります)、動的シーンやアニメーション シーンの処理、再照明、および個々のオブジェクトの編集を対象としています。ゲーム エンジンと AR/VR、スプラットとメッシュを組み合わせたハイブリッド方式、電話ビデオからのキャプチャとのより緊密な統合が期待されます。インタラクティブな速度が重要な場合には、NeRF を実質的に補完または代替するものとして認識されることが増えています。
現実世界の実装
Web 用に部屋や製品のリアルタイムで探索可能な 3D キャプチャを作成する
フォトリアリスティックでナビゲート可能なセットを使用した仮想制作と映画のプリビジュアライゼーション
携帯電話やドローンのビデオから物体や環境を高速 3D スキャン
消費者向けハードウェアでスムーズに動作するインタラクティブな AR/VR シーンを構築する
リスクとガードレール
出所が不明瞭な場合、肖像権と同意が法的リスクとなる可能性があります。
モデルのパフォーマンスは、照明、人口統計、環境によって異なる場合があります。
信頼度のしきい値が監視されない限り、誤検知は気付かれない可能性があります。
実装ロードマップ
精度、再現率、エラーコストの許容基準を定義します。
実際の生産条件に一致するデータを使用してテストします。
信頼性の低い予測や影響の大きい予測については、人間によるレビューを追加します。
モデルのドリフトを追跡し、カメラまたはデータセットの変更後に再検証します。
探検を続けましょう
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Gaussian Splatting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
次のガイド
ガウス過程
よくある質問
What is Gaussian Splatting?
ガウス スプラッティングは、リアルタイムでレンダリングできる何百万もの小さな色付きの半透明の塊として 3D シーンを表します。インタラクティブな表示に十分な速度で実行しながら、NeRF のようなフォトリアリズムを実現します。
ガウス スプラッティングは 3D シーンをどのように表現しますか?
シーンは 3D ガウスの明示的な雲であり、それぞれは位置、形状、不透明度、色を持つ曖昧な楕円体です。
ガウス スプラッティングは元の NeRF よりもレンダリングがはるかに速いのはなぜですか?
タイルベースのラスタライゼーションを介して BLOB を投影およびブレンドすると、NeRF のピクセルごとのレイ マーチングが回避され、リアルタイム速度が可能になります。
各 3D ガウスにはどのような情報が保存されますか?
各ブロブには、位置、共分散 (サイズと方向)、不透明度、および色の情報が含まれます。
見る角度によってブロブの色を変化させるには何を使用しますか?
色は球面調和関数でエンコードされるため、反射を捉えて、各ガウスが異なる方向からは異なって見えることがあります。
ガウス スプラッティングでは、通常どのようにトレーニングを開始しますか?
モーションから構造を取得するカメラ キャリブレーションからのまばらなポイントから始まり、そこからガウス分布が最適化されます。