オプティカル フロー
オプティカル フローは、連続するビデオ フレーム間で各ピクセルがどのように移動するかを推定し、動きベクトルの密なマップを生成します。
概要
It is how machines perceive movement, speed, and direction in video.
ディープダイブ
オプティカル フローは、すべてのピクセルに小さな動きの矢印を割り当て、フレーム間で移動するように見える矢印を示します。古典的な手法は、Lucas-Kanade (疎) アルゴリズムや Horn-Schunck (密) アルゴリズムのような、滑らかさの制約と組み合わせた「明るさの一定性」の仮定 (点が移動しても同じ明るさを保つ) に基づいています。これらは小さくて穏やかな動きにはうまく機能しますが、速い動き、オクルージョン、およびテクスチャのない大きな領域には問題があります。ディープラーニングはこの分野を変えました。FlowNet、PWC-Net、特に RAFT などのネットワークは、フレーム間で特徴を一致させ、フロー フィールドを繰り返し改良することを学習します。この出力により、「フレーム内に何があるか」だけでなく、ビデオの理解が促進されます。でも「どうやって動いているの？」
技術的な洞察
画期的なアプローチである RAFT は、フレーム 1 のすべてのピクセルがフレーム 2 のすべてのピクセルとどれだけ一致するかをスコア化する 4D の「コスト ボリューム」を構築し、その後、反復更新演算子 (GRU) を使用して、より良い一致に向けて矢印を繰り返し押していくなど、多くの小さなステップにわたってフロー推定値を調整します。 1 つの大きな推測ではなく、この反復的な改善により、大きな変位や細かいディテールでもシャープで正確なフローが得られ、さまざまなシーンによく一般化されます。
戦略的影響
速度とスケール
Visual AI は、検査、検出、タグ付けタスクを大規模に自動化できます。
ビルドの選択
クリエイティブ チームは、手動での修正を減らし、より迅速にコンセプトのプロトタイプを作成できます。
チームとワークフロー
以前は処理が困難であった画像信号やビデオ信号を操作に使用できるようになります。
オプティカル フローの未来
オプティカル フローは、エッジ デバイスでのリアルタイムの高解像度推定、深度および 3D シーン フローとの緊密な統合、および高価なグラウンド トゥルース ラベルを使用せずに生のビデオから学習する自己教師ありトレーニングへと移行しています。自律システムやロボットは、より豊かな動きの理解を必要とするため、フローがオブジェクトの追跡や予測と融合することを期待してください。これにより、機械は現在の動きを認識するだけでなく、オクルージョンや急速なカメラの動きを通しても、物事が次にどこに進むかを予測できます。
現実世界の実装
携帯電話やアクションカメラのビデオ安定化により、手持ちの揺れを打ち消します
フレーム間のフレームを生成してビデオをより滑らかに見せたり、スローモーションで実行したりするフレーム補間
近くの車や歩行者の速度と方向を推定する運転支援および自動運転車
フレーム間の動きを予測してビデオをより効率的に保存するビデオ圧縮コーデック
リスクとガードレール
出所が不明瞭な場合、肖像権と同意が法的リスクとなる可能性があります。
モデルのパフォーマンスは、照明、人口統計、環境によって異なる場合があります。
信頼度のしきい値が監視されない限り、誤検知は気付かれない可能性があります。
実装ロードマップ
精度、再現率、エラーコストの許容基準を定義します。
実際の生産条件に一致するデータを使用してテストします。
信頼性の低い予測や影響の大きい予測については、人間によるレビューを追加します。
モデルのドリフトを追跡し、カメラまたはデータセットの変更後に再検証します。
探検を続けましょう
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Optical Flow quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
次のガイド
フローマッチング
よくある質問
What is Optical Flow?
オプティカル フローは、連続するビデオ フレーム間で各ピクセルがどのように移動するかを推定し、動きベクトルの密なマップを生成します。これは、機械がビデオ内の動き、速度、方向をどのように認識するかです。
オプティカル フローは実際に何を推定しますか?
オプティカル フローは、各ピクセルがあるフレームから次のフレームにどのように移動するかを記述する動きベクトルを生成します。
古典的なオプティカル フローで使用される「明るさの一定性」の仮定とは何ですか?
古典的な方法では、物理点の明るさが移動しても一定に保たれることを前提としており、これによりフレーム間で明るさを一致させることができます。
コスト ボリュームと反復更新を使用した反復フローの改良で知られる最新の深層学習手法はどれですか?
RAFT は 4D コスト ボリュームを構築し、リカレント オペレーターを使用して多くの小さなステップにわたるフローを調整し、最先端の精度を実現します。
従来のオプティカル フロー手法が大きくて速い動きに苦労するのはなぜですか?
小さな動きの仮定に基づいて構築された手法は、ピクセルがフレーム間で遠くにジャンプすると追跡を失い、エラーが発生します。
フレーム間の動きの推定に直接依存しているアプリケーションはどれですか?
フレーム補間では、推定されたピクセルの動きを使用して中間フレームを合成し、よりスムーズなビデオまたはスローモーションのビデオを生成します。