āļ„āļđāđˆāļĄāļ·āļ­ AI āđāļšāļšāđ€āļŦāđ‡āļ™āļ āļēāļž

āļāļēāļĢāđ„āļŦāļĨāļ‚āļ­āļ‡āđāļŠāļ‡

Optical flow estimates apparent motion between image frames, often as a displacement vector field.

āļŸāļąāļ‡āļ„āļģāđāļ™āļ°āļ™āļģāļ™āļĩāđ‰āļšāļĢāļĢāļĒāļēāļĒāđ‚āļ”āļĒ AI · ~2 min

āļšāļ™āļŦāļ™āđ‰āļēāļ™āļĩāđ‰āļ­āđˆāļēāļ™ 2 āļ™āļēāļ—āļĩ
  1. āļ āļēāļžāļĢāļ§āļĄ
  2. āđ€āļˆāļēāļ°āļĨāļķāļ
  3. āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡
  4. āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡āļāļēāļĢāđ„āļŦāļĨāļ‚āļ­āļ‡āđāļŠāļ‡
  5. āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī
  6. āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›
  7. āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

āļ āļēāļžāļĢāļ§āļĄ

It is a visual correspondence estimate, not a complete 3D motion solution.

āđ€āļˆāļēāļ°āļĨāļķāļ

Classic optical flow often assumes brightness constancy and spatial smoothness. RAFT uses feature correlations across image pairs and a recurrent update operator to refine dense flow. Occlusion, illumination change, motion boundaries, textureless areas, and large displacement can make correspondence difficult. A flow vector is image-plane motion and does not by itself provide metric depth or object identity. In frame interpolation, estimated optical flow can guide synthesis of intermediate frames between two observed frames; this application depends on the quality of the motion estimate. An occlusion occurs when a scene point is hidden in one frame or newly revealed in another, leaving no valid pixel correspondence in the hidden frame. Flow can therefore be uncertain at occlusion boundaries.

āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡

Estimate motion between adjacent frames for video analysis.

Inspect flow failures near occlusions or textureless regions.

Use RAFT as a learned model and evaluate it on the intended footage.

Compare flow fields at the camera and object level only when those signals are separated.

āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡āļāļēāļĢāđ„āļŦāļĨāļ‚āļ­āļ‡āđāļŠāļ‡

Flow remains useful for motion estimation and video processing, often alongside depth, segmentation, or tracking. Evaluate on relevant conditions instead of assuming the model anticipates future motion or resolves occlusion completely.

āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī

āļ—āļģāđ„āļĄāļĄāļąāļ™āļ–āļķāļ‡āļŠāļģāļ„āļąāļ

  • āļ„āļ§āļēāļĄāđ€āļĢāđ‡āļ§āđāļĨāļ°āļ‚āļ™āļēāļ”. Visual AI āļŠāļēāļĄāļēāļĢāļ–āļ—āļģāđƒāļŦāđ‰āļāļēāļĢāļ•āļĢāļ§āļˆāļŠāļ­āļš āļāļēāļĢāļ•āļĢāļ§āļˆāļˆāļąāļš āđāļĨāļ°āļāļēāļĢāđāļ—āđ‡āļāđ€āļ›āđ‡āļ™āļ­āļąāļ•āđ‚āļ™āļĄāļąāļ•āļīāđƒāļ™āļ‚āļ™āļēāļ”āļ•āđˆāļēāļ‡āđ†
  • āļŠāļĢāđ‰āļēāļ‡āļ—āļēāļ‡āđ€āļĨāļ·āļ­āļ. āļ—āļĩāļĄāļŠāļĢāđ‰āļēāļ‡āļŠāļĢāļĢāļ„āđŒāļŠāļēāļĄāļēāļĢāļ–āļŠāļĢāđ‰āļēāļ‡āļ•āđ‰āļ™āđāļšāļšāđāļ™āļ§āļ„āļīāļ”āđ„āļ”āđ‰āļĢāļ§āļ”āđ€āļĢāđ‡āļ§āļ‚āļķāđ‰āļ™āđ‚āļ”āļĒāļ•āđ‰āļ­āļ‡āļĄāļĩāļāļēāļĢāđāļāđ‰āđ„āļ‚āļ”āđ‰āļ§āļĒāļ•āļ™āđ€āļ­āļ‡āļ™āđ‰āļ­āļĒāļĨāļ‡
  • āļ—āļĩāļĄāļ‡āļēāļ™āđāļĨāļ°āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļāļēāļĢāļ—āļģāļ‡āļēāļ™. āļāļēāļĢāļ”āļģāđ€āļ™āļīāļ™āļāļēāļĢāļŠāļēāļĄāļēāļĢāļ–āđƒāļŠāđ‰āļŠāļąāļāļāļēāļ“āļ āļēāļžāđāļĨāļ°āļ§āļīāļ”āļĩāđ‚āļ­āļ—āļĩāđˆāļāđˆāļ­āļ™āļŦāļ™āđ‰āļēāļ™āļĩāđ‰āļ›āļĢāļ°āļĄāļ§āļĨāļœāļĨāđ„āļ”āđ‰āļĒāļēāļ

āļĢāļ°āļ§āļąāļ‡

  • āļŠāļīāļ—āļ˜āļīāđŒāđāļĨāļ°āļ„āļ§āļēāļĄāļĒāļīāļ™āļĒāļ­āļĄāđƒāļ™āļĢāļđāļ›āļ āļēāļžāļ­āļēāļˆāļāļĨāļēāļĒāđ€āļ›āđ‡āļ™āļ„āļ§āļēāļĄāđ€āļŠāļĩāđˆāļĒāļ‡āļ—āļēāļ‡āļāļŽāļŦāļĄāļēāļĒāđ„āļ”āđ‰āļŦāļēāļāđāļŦāļĨāđˆāļ‡āļ—āļĩāđˆāļĄāļēāđ„āļĄāđˆāļŠāļąāļ”āđ€āļˆāļ™
  • āļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāļ‚āļ­āļ‡āđ‚āļĄāđ€āļ”āļĨāļ­āļēāļˆāđāļ•āļāļ•āđˆāļēāļ‡āļāļąāļ™āđ„āļ›āļ•āļēāļĄāļŠāļ āļēāļžāđāļŠāļ‡ āļ‚āđ‰āļ­āļĄāļđāļĨāļ›āļĢāļ°āļŠāļēāļāļĢ āđāļĨāļ°āļŠāļ āļēāļžāđāļ§āļ”āļĨāđ‰āļ­āļĄ
  • āļœāļĨāļšāļ§āļāļĨāļ§āļ‡āļ­āļēāļˆāđ„āļĄāđˆāļŠāļąāļ‡āđ€āļāļ•āđ€āļŦāđ‡āļ™āđ€āļ§āđ‰āļ™āđāļ•āđˆāļˆāļ°āļĄāļĩāļāļēāļĢāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ€āļāļ“āļ‘āđŒāļ„āļ§āļēāļĄāđ€āļŠāļ·āđˆāļ­āļĄāļąāđˆāļ™

āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļ•āđˆāļ­āđ„āļ›

  1. āļāļģāļŦāļ™āļ”āđ€āļāļ“āļ‘āđŒāļāļēāļĢāļĒāļ­āļĄāļĢāļąāļšāļŠāļģāļŦāļĢāļąāļšāļ„āļ§āļēāļĄāđāļĄāđˆāļ™āļĒāļģ āļāļēāļĢāđ€āļĢāļĩāļĒāļāļ„āļ·āļ™ āđāļĨāļ°āļ•āđ‰āļ™āļ—āļļāļ™āļ‚āđ‰āļ­āļœāļīāļ”āļžāļĨāļēāļ”
  2. āļ—āļ”āļŠāļ­āļšāļ”āđ‰āļ§āļĒāļ‚āđ‰āļ­āļĄāļđāļĨāļ—āļĩāđˆāļ•āļĢāļ‡āļāļąāļšāđ€āļ‡āļ·āđˆāļ­āļ™āđ„āļ‚āļāļēāļĢāļœāļĨāļīāļ•āļˆāļĢāļīāļ‡
  3. āđ€āļžāļīāđˆāļĄāļāļēāļĢāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ‚āļ”āļĒāđ€āļˆāđ‰āļēāļŦāļ™āđ‰āļēāļ—āļĩāđˆāļŠāļģāļŦāļĢāļąāļšāļāļēāļĢāļ„āļēāļ”āļāļēāļĢāļ“āđŒāļ—āļĩāđˆāļĄāļĩāļ„āļ§āļēāļĄāļĄāļąāđˆāļ™āđƒāļˆāļ•āđˆāļģāļŦāļĢāļ·āļ­āļĄāļĩāļœāļĨāļāļĢāļ°āļ—āļšāļŠāļđāļ‡
  4. āļ•āļīāļ”āļ•āļēāļĄāļāļēāļĢāđ€āļ„āļĨāļ·āđˆāļ­āļ™āļ•āļąāļ§āļ‚āļ­āļ‡āđ‚āļĄāđ€āļ”āļĨāđāļĨāļ°āļ•āļĢāļ§āļˆāļŠāļ­āļšāļ„āļ§āļēāļĄāļ–āļđāļāļ•āđ‰āļ­āļ‡āļ­āļĩāļāļ„āļĢāļąāđ‰āļ‡āļŦāļĨāļąāļ‡āļˆāļēāļāļāļēāļĢāđ€āļ›āļĨāļĩāđˆāļĒāļ™āđāļ›āļĨāļ‡āļāļĨāđ‰āļ­āļ‡āļŦāļĢāļ·āļ­āļŠāļļāļ”āļ‚āđ‰āļ­āļĄāļđāļĨ

āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›

āļˆāļ”āļŦāļĄāļēāļĒāļ‚āđˆāļēāļ§āļŸāļĢāļĩ

āļĢāļąāļšāļŠāļĢāļļāļ› AI āļĢāļēāļĒāļ§āļąāļ™

āđ€āļĢāļ·āđˆāļ­āļ‡āļĢāļēāļ§ AI āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđāļĨāđ‰āļ§ 3 āđ€āļĢāļ·āđˆāļ­āļ‡āļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āđ€āļŠāđ‰āļē, āđ€āļ‚āļĩāļĒāļ™āđ€āļ›āđ‡āļ™āļ āļēāļĐāļēāļ­āļąāļ‡āļāļĪāļĐāļ˜āļĢāļĢāļĄāļ”āļē āļŸāļĢāļĩāļ•āļĨāļ­āļ”āđ„āļ› āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē

āļ­āļĩāđ€āļĄāļĨāļŦāļ™āļķāđˆāļ‡āļ‰āļšāļąāļšāļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āļĒāļāđ€āļĨāļīāļāļāļēāļĢāļŠāļĄāļąāļ„āļĢāđƒāļ™āļ„āļĨāļīāļāđ€āļ”āļĩāļĒāļ§ āđ€āļĢāļēāđ„āļĄāđˆāđ€āļ„āļĒāļ‚āļēāļĒāļŦāļĢāļ·āļ­āđāļŠāļĢāđŒāļ—āļĩāđˆāļ­āļĒāļđāđˆāļ­āļĩāđ€āļĄāļĨāļ‚āļ­āļ‡āļ„āļļāļ“

āļ—āļ”āļŠāļ­āļšāļ•āļąāļ§āđ€āļ­āļ‡

Take the Optical Flow quiz

āļ‚āđ‰āļ­āđ€āļŠāļ™āļ­āđāļ™āļ°āļ—āļąāļ™āļ—āļĩāļŠāļģāļŦāļĢāļąāļšāļ—āļļāļāļ„āļģāļ•āļ­āļš āđāļĨāļ°āđƒāļšāļĢāļąāļšāļĢāļ­āļ‡āļ—āļĩāđˆāļŠāļēāļĄāļēāļĢāļ–āđāļŠāļĢāđŒāđ„āļ”āđ‰āļžāļĢāđ‰āļ­āļĄ ID āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ„āļ”āđ‰āđ€āļĄāļ·āđˆāļ­āļ„āļļāļ“āļœāđˆāļēāļ™āļŦāļĨāļąāļāļŠāļđāļ•āļĢ

āđ€āļĢāļīāđˆāļĄāđāļšāļšāļ—āļ”āļŠāļ­āļš

āļŠāļ™āļąāļšāļŠāļ™āļļāļ™āļāļēāļĢāļĻāļķāļāļĐāļē AI āļŸāļĢāļĩ AI Understanding āđ€āļ›āđ‡āļ™āļ­āļ‡āļ„āđŒāļāļĢāđ„āļĄāđˆāđāļŠāļ§āļ‡āļŦāļēāļœāļĨāļāļģāđ„āļĢ 501(c)(3) — āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē āđ„āļĄāđˆāļĄāļĩāļāļģāđāļžāļ‡āđ€āļ‡āļīāļ™, āļ•āļĨāļ­āļ”āđ„āļ› āļšāļĢāļīāļˆāļēāļ„

āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

What is Optical Flow?

Optical flow estimates apparent motion between image frames, often as a displacement vector field. It is a visual correspondence estimate, not a complete 3D motion solution.

āļˆāļĢāļīāļ‡ āđ† āđāļĨāđ‰āļ§āļāļēāļĢāđ„āļŦāļĨāļ‚āļ­āļ‡āđāļŠāļ‡āļ›āļĢāļ°āļĄāļēāļ“āļ„āđˆāļēāļ­āļ°āđ„āļĢ

āļāļēāļĢāđ„āļŦāļĨāļ‚āļ­āļ‡āđāļŠāļ‡āļˆāļ°āļŠāļĢāđ‰āļēāļ‡āđ€āļ§āļāđ€āļ•āļ­āļĢāđŒāļāļēāļĢāđ€āļ„āļĨāļ·āđˆāļ­āļ™āđ„āļŦāļ§āđ€āļžāļ·āđˆāļ­āļ­āļ˜āļīāļšāļēāļĒāļ§āđˆāļēāđāļ•āđˆāļĨāļ°āļžāļīāļāđ€āļ‹āļĨāđ€āļ„āļĨāļ·āđˆāļ­āļ™āļ—āļĩāđˆāļˆāļēāļāđ€āļŸāļĢāļĄāļŦāļ™āļķāđˆāļ‡āđ„āļ›āļĒāļąāļ‡āđ€āļŸāļĢāļĄāļ–āļąāļ”āđ„āļ›āļ­āļĒāđˆāļēāļ‡āđ„āļĢ

āļ‚āđ‰āļ­āļŠāļąāļ™āļ™āļīāļĐāļāļēāļ™ 'āļ„āļ§āļēāļĄāļŠāļ§āđˆāļēāļ‡āļ„āļ‡āļ—āļĩāđˆ' āļ—āļĩāđˆāđƒāļŠāđ‰āđƒāļ™āļāļēāļĢāđ„āļŦāļĨāļ‚āļ­āļ‡āđāļŠāļ‡āđāļšāļšāļ„āļĨāļēāļŠāļŠāļīāļāļ„āļ·āļ­āļ­āļ°āđ„āļĢ?

āļ§āļīāļ˜āļĩāļāļēāļĢāđāļšāļšāļ„āļĨāļēāļŠāļŠāļīāļāļ–āļ·āļ­āļ§āđˆāļēāļ„āļ§āļēāļĄāļŠāļ§āđˆāļēāļ‡āļ‚āļ­āļ‡āļˆāļļāļ”āļ—āļēāļ‡āļāļēāļĒāļ āļēāļžāļ„āļ‡āļ—āļĩāđˆāđƒāļ™āļ‚āļ“āļ°āļ—āļĩāđˆāđ€āļ„āļĨāļ·āđˆāļ­āļ™āļ—āļĩāđˆ āļ‹āļķāđˆāļ‡āļŠāđˆāļ§āļĒāđƒāļŦāđ‰āļ„āļ§āļēāļĄāļŠāļ§āđˆāļēāļ‡āđ€āļ—āđˆāļēāļāļąāļ™āļĢāļ°āļŦāļ§āđˆāļēāļ‡āđ€āļŸāļĢāļĄāļ•āđˆāļēāļ‡āđ†

Which method uses a 4D correlation volume and recurrent updates for optical flow?

RAFT builds all-pairs correlations and iteratively updates flow estimates.

Why can classic optical-flow assumptions fail in fast motion?

Classic methods rely on simplifying assumptions that can break under large or ambiguous motion.

āđāļ­āļ›āļžāļĨāļīāđ€āļ„āļŠāļąāļ™āđƒāļ”āļ­āļēāļĻāļąāļĒāļāļēāļĢāļ›āļĢāļ°āļĄāļēāļ“āļāļēāļĢāđ€āļ„āļĨāļ·āđˆāļ­āļ™āđ„āļŦāļ§āļĢāļ°āļŦāļ§āđˆāļēāļ‡āđ€āļŸāļĢāļĄāđ‚āļ”āļĒāļ•āļĢāļ‡

āļāļēāļĢāļ›āļĢāļ°āļĄāļēāļ“āļ„āđˆāļēāđ€āļŸāļĢāļĄāļˆāļ°āļŠāļąāļ‡āđ€āļ„āļĢāļēāļ°āļŦāđŒāđ€āļŸāļĢāļĄāļĢāļ°āļ”āļąāļšāļāļĨāļēāļ‡āđ‚āļ”āļĒāđƒāļŠāđ‰āļāļēāļĢāđ€āļ„āļĨāļ·āđˆāļ­āļ™āļ—āļĩāđˆāļ‚āļ­āļ‡āļžāļīāļāđ€āļ‹āļĨāđ‚āļ”āļĒāļ›āļĢāļ°āļĄāļēāļ“ āļŠāđˆāļ‡āļœāļĨāđƒāļŦāđ‰āļ§āļīāļ”āļĩāđ‚āļ­āļĄāļĩāļ„āļ§āļēāļĄāļ™āļļāđˆāļĄāļ™āļ§āļĨāļŦāļĢāļ·āļ­āļŠāđ‚āļĨāļ§āđŒāđ‚āļĄāļŠāļąāļ™āļĄāļēāļāļ‚āļķāđ‰āļ™

āđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āļ•āđˆāļ­āđ„āļ›

āļ„āļģāđāļ™āļ°āļ™āļģāļ—āļĩāđˆāđ€āļāļĩāđˆāļĒāļ§āļ‚āđ‰āļ­āļ‡

āļ„āļģāđāļ™āļ°āļ™āļģāđ€āļžāļīāđˆāļĄāđ€āļ•āļīāļĄāļ—āļĩāđˆāđ€āļĨāļ·āļ­āļāļŠāļģāļŦāļĢāļąāļšāļŦāļąāļ§āļ‚āđ‰āļ­āļ™āļĩāđ‰

āļ•āđˆāļ­āđ„āļ›āļ„āļģāđāļ™āļ°āļ™āļģāļ•āđˆāļ­āđ„āļ›

āļāļēāļĢāļˆāļąāļšāļ„āļđāđˆāļāļēāļĢāđ„āļŦāļĨ

āļ§āļīāļŠāļ§āļĨāđ€āļ­āđ„āļ­

āļĢāļąāļšāđƒāļšāļĢāļąāļšāļĢāļ­āļ‡ AI āļŸāļĢāļĩāļŦāļĨāļąāļāļŠāļđāļ•āļĢāđāļĨāļ°āļāļēāļĢāļŠāļ­āļšāļŠāļąāđ‰āļ™ āđ† āļŸāļĢāļĩ āđ„āļĄāđˆāļĄāļĩāļ„āđˆāļēāđƒāļŠāđ‰āļˆāđˆāļēāļĒ āđ„āļĄāđˆāļĄāļĩāļšāļąāļ•āļĢāđ€āļ„āļĢāļ”āļīāļ• āļ›āļĢāļ°āļĄāļēāļ“ 2.5 āļŠāļąāđˆāļ§āđ‚āļĄāļ‡āđ€āļĢāļīāđˆāļĄāļ•āđ‰āļ™āļŸāļĢāļĩ →