Vizuální průvodce AI

Transformace stylu videa na video

Transformace stylu videa na video využívá umělou inteligenci, obvykle difúzní modely, aby poskytla existujícímu záznamu nový vzhled, jako je anime, animace z hlíny nebo olejové barvy, při zachování původního pohybu, načasování a kompozice.

Poslechněte si tento návodAI-vyprávěný · ~3 min

Na této stránce4 min čtení
  1. Přehled
  2. Hluboký ponor
  3. Real-World Implementace
  4. Budoucnost transformace stylu videa na video
  5. Uvedení do praxe
  6. Pokračujte v objevování
  7. Často kladené otázky

Přehled

Je to důležité, protože umožňuje tvůrcům znovu použít skutečné výkony a práci s kamerou v nových vizuálních stylech. Také vyvolává otázky ohledně souhlasu a autorských práv, když zdrojové záběry ukazují skutečné lidi nebo patří někomu jinému.

Hluboký ponor

Většina kanálů video-to-video má dva kroky. Nejprve extrahují strukturu ze zdrojového videa: hloubkové mapy z modelů jako MiDaS nebo Depth Anything, hranové nebo čárové mapy, kostry lidských pozic z nástrojů jako OpenPose a někdy i optický tok, který zaznamenává, jak se pixely pohybují mezi snímky. Poté vygenerují nové snímky podmíněné touto strukturou plus výzvu ke stylu nebo referenční obrázek. ControlNet, představený v roce 2023, to udělal pro Stable Diffusion praktickým tím, že umožnil generování hloubkové mapy nebo kostry pozice řídit bez přeškolování základního modelu. Klíčovým nastavením je obvykle síla transformace nebo potlačení šumu. Zdrojový snímek je částečně zašuměný a poté odšumovaný směrem k novému stylu. Nízká pevnost zůstává blízká originálu, ale mění se jen málo. Vysoká síla dává odvážnější styl, ale výstup se začíná odklánět od zdroje a bliká mezi snímky. Hloubková klimatizace udržuje rozvržení místnosti a umístění objektů. Úprava pozice udržuje pohyb člověka. Hranové mapy si zachovávají jemné obrysy. Existují tři široké přístupy. Šíření po jednotlivých snímcích pomocí ControlNet spoléhá na sdílená semena a pozornost napříč snímky, aby se omezilo blikání. Metody klíčových snímků pečlivě upraví styl několika snímků a šíří, které vypadají jako ostatní, jako to dělá EbSynth s propagací založenou na záplatách. Výzkumné metody, jako je Rerender-A-Video a TokenFlow, jdou tímto směrem dále. Nativní video modely, které přijímají vstupní video, které Runway Gen-1 nabídl v roce 2023, zvládají čas uvnitř modelu. Obvyklá mylná představa je, že restylování anonymizuje lidi nebo mění záběry v nové, volně použitelné dílo. Nedělá ani jedno automaticky. Chůze, tvar těla, hlas a prostředí často zůstávají identifikovatelné, stále platí práva na podobu a publicitu a na podkladové záběry se vztahují autorská práva. Zodpovědné použití znamená natáčení vlastního materiálu nebo získání povolení a zveřejnění, že záznam byl přeměněn.

Real-World Implementace

Nezávislý filmař natáčí herce v garáži a převádí záběry do malovaného fantazijního vzhledu pomocí hloubkových map, takže stěny, stoly a dveře si zachovávají svůj tvar v každém snímku.

Taneční tvůrce vyjme kostry z rutiny a vytvoří animovanou postavu, která předvede stejnou choreografii se stejným načasováním.

Malá agentura pomocí komerčního nástroje pro převod videa na video předělává záběry produktů smartphonů do podoby papírového řemesla, čímž snižuje sílu transformace, takže tvar a logo produktu zůstávají čitelné.

Někdo změní virální klip cizího člověka na karikaturu a znovu jej zveřejní. Tělo, hlas a gesta osoby jsou stále rozpoznatelné a autorská práva původního uživatele, který video nahrál, nezmizela.

Budoucnost transformace stylu videa na video

Modely pro úpravu videa, které berou zdrojový klip a přímo sledují strukturu a pohyb, nahrazují v mnoha nástrojích ručně vytvořené kanály pro jednotlivé snímky. Pravděpodobné oblasti zlepšení jsou delší klipy, lepší zachování tváří a rukou a jemnější kontrola nad tím, které oblasti se mění. Na straně zodpovědného používání jsou standardy původu, jako jsou C2PA Content Credentials, pravidla pro označování platforem a požadavky na souhlas pro podobizny skutečných lidí, stále relevantnější. Jak konzistentně budou nástroje vynucovat souhlas, je stále nejasné a různé platformy a jurisdikce s tím mohou nakládat odlišně.

Uvedení do praxe

Proč na tom záleží

  • Rychlost a měřítko. Vizuální AI může automatizovat úkoly inspekce, detekce a označování ve velkém měřítku.
  • Volby sestavy. Kreativní týmy mohou prototypovat koncepty rychleji s menším počtem ručních revizí.
  • Tým a pracovní postup. Operace mohou využívat obrazové a video signály, které bylo dříve obtížné zpracovat.

Pozor na

  • Obrazová práva a souhlas se mohou stát právním rizikem, pokud je původ nejasný.
  • Výkon modelu se může lišit podle osvětlení, demografických údajů a prostředí.
  • Falešně pozitivní mohou zůstat bez povšimnutí, pokud nejsou monitorovány prahové hodnoty spolehlivosti.

Další kroky

  1. Definujte kritéria přijatelnosti pro přesnost, stažení a náklady na chyby.
  2. Testujte s daty, která odpovídají reálným výrobním podmínkám.
  3. Přidejte lidskou kontrolu pro předpovědi s nízkou spolehlivostí nebo velkým dopadem.
  4. Sledujte posun modelu a znovu ověřte po změnách kamery nebo datové sady.

Pokračujte v objevování

Newsletter zdarma

Získejte denní přehled o AI

Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.

Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.

Otestujte se

Take the Video-to-Video Style Transformation quiz

Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.

Spustit kvíz

Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte

Často kladené otázky

Co je to transformace stylu videa na video?

Transformace stylu videa na video využívá umělou inteligenci, obvykle difúzní modely, aby poskytla existujícímu záznamu nový vzhled, jako je anime, animace z hlíny nebo olejové barvy, při zachování původního pohybu, načasování a kompozice. Je to důležité, protože umožňuje tvůrcům znovu použít skutečné výkony a práci s kamerou v nových vizuálních stylech. Také vyvolává otázky ohledně souhlasu a autorských práv, když zdrojové záběry ukazují skutečné lidi nebo patří někomu jinému.

Jaký je typický první krok v procesu změny stylu videa na video?

Potrubí nejprve zachytí strukturu zdroje, aby generování mohlo sledovat jeho rozložení a pohyb při změně stylu.

Co udělal ControlNet praktickým pro Stable Diffusion?

ControlNet přidává cestu úpravy, takže strukturální vstupy, jako jsou kostry hloubky nebo pozice, vedou výstup existujícího modelu.

Co se obvykle stane, když zvýšíte sílu transformace nebo potlačení šumu?

Vyšší síla více šumí zdroj, což dává modelu větší volnost. To znamená více stylu, ale méně věrnosti a větší nekonzistence mezi snímky.

Který kondiční signál se nejlépe hodí k zachování choreografie tanečníka?

Pose skelety zachycují kloubní pozice v průběhu času, takže přímo zachovávají lidský pohyb.

Jak metody klíčových snímků, jako je EbSynth, přistupují k restylingu?

Keyframe propagation restyles a few frames carefully and then carries that appearance through the rest of the clip.