NastępnyNastępny poradnik
Korekcja kontaktu wzrokowego AI w przypadku wideo
Wizualna sztuczna inteligencja
PRZEWODNIK Wizualnej AI
Transformacja stylu wideo na wideo
Transformacja stylu wideo na wideo wykorzystuje sztuczną inteligencję, zwykle modele dyfuzyjne, aby nadać istniejącym materiałom filmowym nowy wygląd, na przykład anime, animację z gliny lub farbę olejną, zachowując jednocześnie oryginalny ruch, synchronizację i kompozycję.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~3 min
Na tej stronie4 minuty czytania
Przegląd
Ma to znaczenie, ponieważ pozwala twórcom ponownie wykorzystać prawdziwe występy i pracę kamery w nowych stylach wizualnych. Rodzi to również pytania dotyczące zgody i praw autorskich, gdy materiał źródłowy przedstawia prawdziwych ludzi lub należy do kogoś innego.
Głębokie nurkowanie
Większość potoków wideo-wideo składa się z dwóch etapów. Najpierw wyodrębniają strukturę ze źródłowego wideo: mapy głębi z modeli takich jak MiDaS lub Depth Everything, mapy krawędzi lub linii, szkielety ludzkich pozycji z narzędzi takich jak OpenPose, a czasami przepływ optyczny, który rejestruje przemieszczanie się pikseli między klatkami. Następnie generują nowe klatki uwarunkowane tą strukturą oraz podpowiedzią stylu lub obrazem referencyjnym. ControlNet, wprowadzony w 2023 r., uczynił to praktycznym w przypadku Stable Diffusion, umożliwiając generowanie mapy głębokości lub szkieletu pozy bez konieczności ponownego szkolenia modelu podstawowego. Kluczowym ustawieniem jest zazwyczaj siła transformacji lub odszumiania. Klatka źródłowa jest częściowo zaszumiona, a następnie odszumiona w kierunku nowego stylu. Niska wytrzymałość pozostaje zbliżona do oryginału, ale niewiele się zmienia. Wysoka siła nadaje odważniejszy styl, ale sygnał wyjściowy zaczyna odbiegać od źródła i migotać pomiędzy klatkami. Kondycjonowanie głębokości utrzymuje układ pomieszczenia i rozmieszczenie obiektów. Kondycjonowanie pozycji utrzymuje ludzki ruch. Mapy krawędzi zachowują drobne kontury. Istnieją trzy szerokie podejścia. Rozpraszanie na klatkę za pomocą ControlNet opiera się na wspólnych nasionach i uwagach między klatkami, aby ograniczyć migotanie. Metody klatek kluczowych ostrożnie zmieniają styl kilku klatek i propagują ten wygląd do pozostałych, tak jak robi to EbSynth w przypadku propagacji opartej na łatach. Metody badawcze, takie jak Rerender-A-Video i TokenFlow, idą dalej w tym kierunku. Natywne modele wideo akceptujące wejściowy sygnał wideo, które Runway Gen-1 zaoferował w 2023 r., obsługują czas wewnątrz modelu. Powszechnym błędnym przekonaniem jest to, że zmiana stylizacji anonimizuje ludzi lub zamienia materiał filmowy w nowe, swobodnie dostępne dzieło. Nie robi tego automatycznie. Chód, kształt ciała, głos i sceneria często pozostają nierozpoznawalne, nadal obowiązują prawa do wizerunku i reklamy, a materiał źródłowy zachowuje swoje prawa autorskie. Odpowiedzialne wykorzystanie oznacza nagranie własnego materiału lub uzyskanie pozwolenia i ujawnienie, że materiał filmowy został przekształcony.
Implementacja w świecie rzeczywistym
Niezależny filmowiec nagrywa aktorów w garażu i przekształca materiał filmowy w malowany obraz fantasy, korzystając z map głębi, dzięki którym ściany, stoły i drzwi zachowują swój kształt w każdej klatce.
Twórca tańca wyodrębnia szkielety pozy z układu i generuje animowaną postać, która wykonuje tę samą choreografię w tym samym czasie.
Mała agencja zmienia wygląd materiału filmowego ze smartfona na wygląd przypominający papierowe rękodzieło za pomocą komercyjnego narzędzia do przetwarzania wideo na wideo, zmniejszając siłę transformacji, dzięki czemu kształt i logo produktu pozostają czytelne.
Ktoś zamienia wirusowy klip nieznajomego w kreskówkę i publikuje go ponownie. Ciało, głos i gesty tej osoby są nadal rozpoznawalne, a prawa autorskie pierwotnego przesyłającego nie wygasły.
Przyszłość transformacji stylu wideo na wideo
Natywne modele edycji wideo, które pobierają klip źródłowy i bezpośrednio podążają za strukturą i ruchem, zastępują w wielu narzędziach ręcznie tworzone potoki dla poszczególnych klatek. Prawdopodobnymi obszarami ulepszeń są dłuższe klipy, lepsze zachowanie twarzy i dłoni oraz lepsza kontrola nad tym, które regiony się zmieniają. Jeśli chodzi o odpowiedzialne użytkowanie, coraz większe znaczenie zyskują standardy pochodzenia, takie jak poświadczenia treści C2PA, zasady etykietowania platform i wymagania dotyczące zgody na wizerunki prawdziwych osób. Nadal nie jest jasne, w jaki sposób narzędzia będą egzekwować zgodę, a różne platformy i jurysdykcje mogą sobie z tym radzić w różny sposób.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Szybkość i skala. Wizualna sztuczna inteligencja może automatyzować zadania inspekcji, wykrywania i znakowania na dużą skalę.
- Buduj wybory. Zespoły kreatywne mogą szybciej prototypować koncepcje przy mniejszej liczbie ręcznych poprawek.
- Zespół i przepływ pracy. Operacje mogą wykorzystywać sygnały obrazu i wideo, które wcześniej były trudne do przetworzenia.
Uważaj na
- Prawa do wizerunku i zgoda mogą stanowić ryzyko prawne, jeśli pochodzenie jest niejasne.
- Wydajność modelu może się różnić w zależności od oświetlenia, demografii i środowiska.
- Fałszywie pozytywne wyniki mogą pozostać niezauważone, chyba że monitorowane są progi ufności.
Kolejne kroki
- Zdefiniuj kryteria akceptacji dotyczące kosztów precyzji, wycofania i błędów.
- Przetestuj na danych odpowiadających rzeczywistym warunkom produkcyjnym.
- Dodaj weryfikację manualną, aby prognozy były mało pewne lub miały duży wpływ.
- Śledź dryf modelu i przeprowadzaj ponowną weryfikację po zmianie kamery lub zbioru danych.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the Video-to-Video Style Transformation quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
Co to jest transformacja stylu wideo na wideo?
Transformacja stylu wideo na wideo wykorzystuje sztuczną inteligencję, zwykle modele dyfuzyjne, aby nadać istniejącym materiałom filmowym nowy wygląd, na przykład anime, animację z gliny lub farbę olejną, zachowując jednocześnie oryginalny ruch, synchronizację i kompozycję. Ma to znaczenie, ponieważ pozwala twórcom ponownie wykorzystać prawdziwe występy i pracę kamery w nowych stylach wizualnych. Rodzi to również pytania dotyczące zgody i praw autorskich, gdy materiał źródłowy przedstawia prawdziwych ludzi lub należy do kogoś innego.
Jaki jest typowy pierwszy krok w procesie zmiany stylizacji wideo na wideo?
Potoki najpierw przechwytują strukturę źródła, dzięki czemu generowanie może śledzić jego układ i ruch podczas zmiany stylu.
Co ControlNet uczyniło praktycznym dla Stable Diffusion?
ControlNet dodaje ścieżkę warunkowania, dzięki czemu dane strukturalne, takie jak szkielety głębokości lub ułożenia, kierują wynikami istniejącego modelu.
Co zwykle się dzieje, gdy zwiększasz siłę transformacji lub odmładzania?
Większa siła bardziej zaszumi źródło, co daje modelowi większą swobodę. Oznacza to więcej stylu, ale mniejszą wierność i większą niespójność między klatkami.
Który sygnał kondycjonujący najlepiej nadaje się do zachowania choreografii tancerza?
Szkielety w pozycjach rejestrują pozycje stawów w czasie, dzięki czemu bezpośrednio zachowują ludzki ruch.
Jak metody klatek kluczowych, takie jak EbSynth, podchodzą do zmiany stylizacji?
Propagacja klatek kluczowych powoduje ostrożną zmianę stylu kilku klatek, a następnie przeniesienie tego wyglądu na resztę klipu.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat