ビジュアルAIガイド
動きから見た構造
Structure from Motion (SfM) は、さまざまな視点から撮影された重複する 2D 写真のセットから 3D シーンのジオメトリとカメラの位置を再構築します。
このガイドを聴くAIによるナレーション · ~2 min
概要
これは、3D マッピング、写真測量、最新の再構成パイプラインのバックボーンです。
ディープダイブ
SfM は、各カメラが写真を撮ったときにどこにあったか、そして世界の 3D ポイントがどこにあるかという 2 つの結合された未知の問題を一度に解決します。まず、すべての画像から特徴的な特徴点を検出し (SIFT などの検出器を使用)、次に複数の写真にわたって同じ物理点を照合します。これらの対応関係と、3D ポイントが 2D 画像に投影される方法の幾何学を使用して、システムはエピポーラ幾何学を通じて相対的なカメラのポーズを推定します。ポイントは三角測量されてまばらな 3D クラウドになり、バンドル調整と呼ばれるグローバル最適化により、すべてのカメラとポイントが調整されて再投影エラーが最小限に抑えられます。その結果、まばらな点群とキャリブレーションされたカメラ位置が得られます。これは、より高密度な再構成手法が構築される重要な足場です。
現実世界の実装
航空写真セットを測量用の 3D 地形および建築モデルに変換するドローン写真測量
NeRF およびガウス スプラッティング シーンの再構築をブートストラップするためにカメラ ポーズを回復する
観光客の写真集から文化遺産や彫像を3Dモデルとしてデジタル保存
法医学分析のために捜査員の写真から犯罪現場や事故現場を 3D で再構成する
動きから見た構造の未来
SfM はディープ ラーニングとの融合が進んでいます。学習された特徴検出器とマッチャー (SuperPoint や SuperGlue など) は、従来の SIFT が苦手とするテクスチャのないシーンや反復的なシーンを処理します。また、SfM が提供するカメラ ポーズを必要とする NeRF やガウス スプラッティングなどのニューラル シーン表現も提供します。より高速で堅牢なエンドツーエンド パイプライン、AR 向け電話機でのリアルタイム SfM、ロボティクスおよび自律ナビゲーションにおけるライブ マッピング向けの SLAM との緊密な結合が期待されます。
実践する
なぜそれが重要なのか
- 速度とスケール. Visual AI は、検査、検出、タグ付けタスクを大規模に自動化できます。
- ビルドの選択. クリエイティブ チームは、手動での修正を減らし、より迅速にコンセプトのプロトタイプを作成できます。
- チームとワークフロー. 以前は処理が困難であった画像信号やビデオ信号を操作に使用できるようになります。
気をつけてください
- 出所が不明瞭な場合、肖像権と同意が法的リスクとなる可能性があります。
- モデルのパフォーマンスは、照明、人口統計、環境によって異なる場合があります。
- 信頼度のしきい値が監視されない限り、誤検知は気付かれない可能性があります。
次のステップ
- 精度、再現率、エラーコストの許容基準を定義します。
- 実際の生産条件に一致するデータを使用してテストします。
- 信頼性の低い予測や影響の大きい予測については、人間によるレビューを追加します。
- モデルのドリフトを追跡し、カメラまたはデータセットの変更後に再検証します。
探検を続けましょう
よくある質問
動きから見た構造とは何ですか?
Structure from Motion (SfM) は、さまざまな視点から撮影された重複する 2D 写真のセットから 3D シーンのジオメトリとカメラの位置を再構築します。これは、3D マッピング、写真測量、最新の再構成パイプラインのバックボーンです。
Structure from Motion が同時に推定する 2 つのことは何ですか?
SfM は、シーンの 3D ジオメトリと、各画像をキャプチャしたときに各カメラがどこにあったかを共同で解決します。
SfM における特徴マッチングの役割は何ですか?
写真全体で検出された特徴 (SIFT キーポイントなど) を照合すると、ジオメトリを推測するために必要な対応関係が得られます。
バンドル調整は何を最適化しますか?
バンドル調整は、観測点と投影点の間のピクセル ギャップを最小限に抑えるグローバルな非線形最小二乗微調整です。
通常、SfM はどのような 3D 出力を直接生成しますか?
SfM は、三角点とカメラ位置のまばらなセットを生成します。完全なサーフェスには、より密度の高い方法が必要です。
2 つのカメラ ビュー間の対応する点を関連付ける幾何学的概念はどれですか?
エピポーラ幾何学は、ある画像に表示される点が別の画像に表示される場所を制約し、姿勢推定を可能にします。