Generowanie obrazu na wideo

Większość obecnych systemów przetwarzania obrazu na wideo to modele utajonej dyfuzji wideo. Obraz wejściowy jest kompresowany przez autoenkoder do postaci ukrytej, która jest przekazywana do sieci odszumiającej na każdym kroku, często poprzez połączenie go kanałowo z zaszumionymi latentami każdej klatki. Wiele modeli wprowadza również semantyczne osadzanie obrazu, takie jak osadzanie obrazu CLIP, poprzez wzajemne skupienie uwagi. Tymczasowe warstwy uwagi umożliwiają ramkom wymianę informacji, dzięki czemu model odszumia wszystkie klatki w spójny klip rozpoczynający się od danego obrazu. Stable Video Diffusion, wydany przez Stability AI w listopadzie 2023 r., to dobrze udokumentowany otwarty przykład z wariantami 14 i 25 klatek. Narzędzia komercyjne, takie jak Runway, Kling, Luma Dream Machine i Google Veo oferują konwersję obrazu na wideo, a otwarte modele, takie jak Wan i HunyuanVideo, mają wersje z kondycjonowaniem obrazu. Siła ruchu jest kontrolowana na kilka sposobów. Stabilne rozproszenie wideo przyjmuje wartość „zbiornika ruchu” uzyskaną na podstawie ilości zawartych klipów szkoleniowych dotyczących przepływu optycznego oraz warunkowania szybkości klatek. Dodaje również szum do obrazu kondycjonującego. Większe wzmocnienie szumu powoduje, że obraz wideo odchodzi dalej od sygnału wejściowego, zapewniając większy ruch, ale mniejszą wierność. Narzędzia komercyjne zazwyczaj udostępniają suwak ruchu, ustawienia wstępne kamery lub monit tekstowy opisujący ruch. Typowe artefakty obejmują morfing (obiekty wtapiają się w siebie), dryf tożsamości na twarzach po kilku sekundach, dodatkowe lub wypaczone kończyny podczas szybkiego ruchu oraz pływanie teksturami, gdzie drobne wzory zdają się przesuwać po powierzchniach. Inne częste problemy to płaski wygląd paralaksy „2,5D”, niemal zamrożony obraz wyjściowy przy niskich ustawieniach ruchu oraz błędy fizyczne w płynach i tkaninach. Powszechnym błędnym przekonaniem jest to, że model rozumie scenę 3D. Przewiduje wiarygodne piksele. Kiedy poruszający się obiekt ujawnia, co się za nim znajdowało, model nie ma informacji o tym obszarze i wymyśla to.