Przepływ optyczny
Przepływ optyczny szacuje, w jaki sposób każdy piksel przemieszcza się pomiędzy kolejnymi klatkami wideo, tworząc gęstą mapę wektorów ruchu.
Przegląd
It is how machines perceive movement, speed, and direction in video.
Głębokie nurkowanie
Przepływ optyczny przypisuje każdemu pikselowi małą strzałkę ruchu, opisującą miejsce, w którym wydaje się przemieszczać z jednej klatki do następnej. Klasyczne metody opierają się na założeniu „stałości jasności” – punkt zachowuje tę samą jasność podczas ruchu – w połączeniu z ograniczeniami gładkości, jak w algorytmach Lucasa-Kanade’a (rzadki) i Horna-Schuncka (gęsty). Działają one dobrze w przypadku małych, delikatnych ruchów, ale mają problemy z szybkimi ruchami, okluzjami i dużymi obszarami pozbawionymi tekstury. Głębokie uczenie zmieniło tę dziedzinę: sieci takie jak FlowNet, PWC-Net, a zwłaszcza RAFT, uczą się dopasowywać funkcje w różnych klatkach i iteracyjnie udoskonalać pole przepływu. Wynik umożliwia zrozumienie obrazu wideo wszędzie tam, gdzie pytanie nie dotyczy tylko tego, co jest w klatce? ale „jak się porusza?”
Wgląd techniczny
RAFT, przełomowe podejście, tworzy trójwymiarową „objętość kosztów”, która ocenia, jak dobrze każdy piksel w klatce pierwszej pasuje do każdego piksela w klatce drugiej, a następnie wykorzystuje operator aktualizacji cyklicznej (GRU), aby udoskonalić oszacowanie przepływu w wielu małych krokach — np. wielokrotne przesuwanie strzałek w stronę lepszego dopasowania. To iteracyjne udoskonalanie, a nie jedno wielkie zgadywanie, zapewnia ostry i dokładny przepływ nawet w przypadku dużych przemieszczeń i drobnych szczegółów, a także pozwala na dobre uogólnienie w różnych scenach.
Wpływ strategiczny
Szybkość i skala
Wizualna sztuczna inteligencja może automatyzować zadania inspekcji, wykrywania i znakowania na dużą skalę.
Buduj wybory
Zespoły kreatywne mogą szybciej prototypować koncepcje przy mniejszej liczbie ręcznych poprawek.
Zespół i przepływ pracy
Operacje mogą wykorzystywać sygnały obrazu i wideo, które wcześniej były trudne do przetworzenia.
Przyszłość przepływu optycznego
Przepływ optyczny zmierza w kierunku szacowania w czasie rzeczywistym w wysokiej rozdzielczości na urządzeniach brzegowych, ściślejszej integracji z przepływem głębi i sceny 3D oraz samonadzorowanego szkolenia, które uczy się na surowym wideo bez drogich etykiet opartych na faktach. Ponieważ systemy autonomiczne i roboty wymagają lepszego zrozumienia ruchu, należy oczekiwać, że przepływ połączy się ze śledzeniem i przewidywaniem obiektów, dzięki czemu maszyny nie tylko będą widzieć bieżący ruch, ale będą przewidywać dalszy rozwój wydarzeń, nawet w przypadku okluzji i szybkiego ruchu kamery.
Implementacja w świecie rzeczywistym
Stabilizacja wideo w telefonach i kamerach akcji, która eliminuje drgania z ręki
Interpolacja klatek generująca klatki pośrednie, aby wideo wyglądało płynniej lub było odtwarzane w zwolnionym tempie
Pojazdy wspomagające kierowcę i autonomiczne szacujące prędkość i kierunek pobliskich samochodów i pieszych
Kodeki kompresji wideo przewidujące ruch pomiędzy klatkami w celu wydajniejszego przechowywania wideo
Zagrożenia i poręcze
Prawa do wizerunku i zgoda mogą stanowić ryzyko prawne, jeśli pochodzenie jest niejasne.
Wydajność modelu może się różnić w zależności od oświetlenia, demografii i środowiska.
Fałszywie pozytywne wyniki mogą pozostać niezauważone, chyba że monitorowane są progi ufności.
Plan wdrożenia
Zdefiniuj kryteria akceptacji dotyczące kosztów precyzji, wycofania i błędów.
Przetestuj na danych odpowiadających rzeczywistym warunkom produkcyjnym.
Dodaj weryfikację manualną, aby prognozy były mało pewne lub miały duży wpływ.
Śledź dryf modelu i przeprowadzaj ponowną weryfikację po zmianie kamery lub zbioru danych.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Optical Flow quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Dopasowanie przepływu
Często zadawane pytania
What is Optical Flow?
Przepływ optyczny szacuje, w jaki sposób każdy piksel przemieszcza się pomiędzy kolejnymi klatkami wideo, tworząc gęstą mapę wektorów ruchu. W ten sposób maszyny postrzegają ruch, prędkość i kierunek na wideo.
Co właściwie szacuje przepływ optyczny?
Przepływ optyczny tworzy wektory ruchu opisujące sposób, w jaki każdy piksel przemieszcza się z jednej klatki do następnej.
Jakie jest założenie o „stałości jasności” stosowane w klasycznym przepływie optycznym?
Klasyczne metody zakładają, że jasność punktu fizycznego pozostaje stała podczas ruchu, co pozwala dopasować ją między klatkami.
Która nowoczesna metoda głębokiego uczenia się jest znana z iteracyjnego udoskonalania przepływu przy użyciu wielkości kosztów i okresowych aktualizacji?
RAFT tworzy wolumen kosztów 4D i wykorzystuje operatora cyklicznego do udoskonalenia przepływu w wielu małych krokach, osiągając najnowocześniejszą dokładność.
Dlaczego klasyczne metody przepływu optycznego nie radzą sobie z dużymi, szybkimi ruchami?
Metody zbudowane na założeniach małego ruchu tracą kontrolę, gdy piksel przeskakuje daleko między klatkami, powodując błędy.
Która aplikacja opiera się bezpośrednio na szacowaniu ruchu pomiędzy klatkami?
Interpolacja klatek syntetyzuje klatki pośrednie na podstawie szacunkowego ruchu pikseli, tworząc płynniejsze wideo lub wideo w zwolnionym tempie.