การไหลของแสง

It is how machines perceive movement, speed, and direction in video.

การไหลของแสงจะกำหนดลูกศรเคลื่อนไหวเล็กๆ ให้กับทุกๆ พิกเซล โดยอธิบายว่าพิกเซลนั้นดูเหมือนจะเดินทางจากเฟรมหนึ่งไปยังอีกเฟรมหนึ่งที่ไหน วิธีการแบบคลาสสิกขึ้นอยู่กับสมมติฐาน 'ความคงที่ของความสว่าง' โดยจุดหนึ่งจะรักษาความสว่างเท่าเดิมในขณะที่มันเคลื่อนที่ รวมกับข้อจำกัดด้านความราบรื่น เช่นเดียวกับในอัลกอริธึม Lucas-Kanade (เบาบาง) และ Horn-Shunck (หนาแน่น) สิ่งเหล่านี้ใช้ได้ผลดีกับการเคลื่อนไหวเล็กๆ ที่นุ่มนวล แต่ต้องเจอกับการเคลื่อนไหวที่รวดเร็ว การบดบัง และบริเวณที่ไม่มีพื้นผิวขนาดใหญ่ การเรียนรู้เชิงลึกได้เปลี่ยนแปลงวงการ: เครือข่ายอย่าง FlowNet, PWC-Net และโดยเฉพาะอย่างยิ่ง RAFT เรียนรู้ที่จะจับคู่คุณสมบัติต่างๆ ในเฟรมต่างๆ และปรับแต่งฟิลด์โฟลว์ซ้ำๆ ผลลัพธ์จะขับเคลื่อนความเข้าใจในวิดีโอในทุกที่ที่คำถามไม่ใช่แค่ 'มีอะไรอยู่ในเฟรม' แต่ 'มันเคลื่อนไหวอย่างไร'