光流
光流估計每個像素如何在連續視訊影格之間移動，產生運動向量的密集圖。
概述
It is how machines perceive movement, speed, and direction in video.
深入探討
光流為每個像素分配一個微小的運動箭頭，描述它從一幀到下一幀的移動位置。經典方法基於「亮度恆定」假設（一個點在移動時保持相同的亮度）並結合平滑度約束，如 Lucas-Kanade（稀疏）和 Horn-Schunck（密集）演算法。這些對於小而輕柔的運動效果很好，但對於快速運動、遮擋和大的無紋理區域很困難。深度學習改變了這個領域：FlowNet、PWC-Net，尤其是 RAFT 等網路學習跨幀匹配特徵並迭代地細化流場。無論問題不僅僅是“幀中有什麼？”，輸出都會促進視訊理解。但“它移動得怎麼樣？”
技術洞察
RAFT 是一種具有里程碑意義的方法，它構建了一個 4D“成本量”，對第一幀中的每個像素與第二幀中的每個像素的匹配程度進行評分，然後使用循環更新運算符 (GRU) 通過許多小步驟來細化流量估計，例如反復將箭頭推向更好的匹配。這種迭代細化，而不是一次大的猜測，即使對於大位移和精細細節也能提供清晰、準確的流程，並且它可以很好地概括不同的場景。
戰略影響
速度與規模
視覺人工智慧可以大規模自動化檢查、檢測和標記任務。
配裝選擇
創意團隊可以透過更少的手動修改來更快地建立概念原型。
團隊與工作流程
操作可以使用以前難以處理的影像和視訊訊號。
光流的未來
光流正在朝著邊緣設備上的實時、高分辨率估計、與深度和 3D 場景流更緊密的集成，以及從原始視頻中學習而無需昂貴的真實標籤的自我監督訓練發展。由於自主系統和機器人需要更豐富的運動理解，因此期望流與物件追蹤和預測相融合，這樣機器不僅可以看到當前的運動，而且可以預測下一步的發展方向，即使是透過遮蔽和快速的攝影機移動。
現實世界的實施
手機和運動攝影機中的視訊穩定功能可消除手持運動的震動
幀插值可產生幀之間的內容，使影片看起來更流暢或以慢動作運行
駕駛輔助和自動駕駛車輛估計附近汽車和行人的速度和方向
視頻壓縮編解碼器預測幀之間的運動以更有效地存儲視頻
風險與防護欄
如果出處不明，肖像權和同意可能會成為法律風險。
模型表現可能因光照、人口統計和環境的不同而有所不同。
除非監控置信閾值，否則誤報可能會被忽略。
實施路線圖
定義精確度、召回率和錯誤成本的接受標準。
使用符合實際生產條件的數據進行測試。
為低置信度或高影響力的預測添加人工審核。
追蹤模型漂移並在相機或資料集變更後重新驗證。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Optical Flow quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is Optical Flow?
光流估計每個像素如何在連續視訊影格之間移動，產生運動向量的密集圖。這是機器感知影片中的運動、速度和方向的方式。
光流實際上估計了什麼？
光流產生運動向量，描述每個像素如何從一幀移動到下一幀。
經典光流中使用的「亮度恆定性」假設是什麼？
經典方法假設物理點的亮度在移動時保持恆定，這使它們可以在幀之間進行匹配。
哪種現代深度學習方法以使用成本量和循環更新的迭代流程細化而聞名？
RAFT 建立 4D 成本量，並使用循環算子透過許多小步驟來細化流程，從而實現最先進的精度。
為什麼經典的光流方法難以應付大而快速的運動？
當像素在幀之間跳躍很遠時，基於小運動假設的方法就會失去跟踪，從而導致錯誤。
哪個應用程式直接依賴估計幀之間的運動？
幀插值使用估計的像素運動合成中間幀，產生更平滑或慢動作的影片。