DalšíDalší průvodce
AI Eye Contact Correction for Video
Vizuální AI
Vizuální průvodce AI
Transformace stylu videa na video využívá umělou inteligenci, obvykle difúzní modely, aby poskytla existujícímu záznamu nový vzhled, jako je anime, animace z hlíny nebo olejové barvy, při zachování původního pohybu, načasování a kompozice.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Je to důležité, protože umožňuje tvůrcům znovu použít skutečné výkony a práci s kamerou v nových vizuálních stylech. Také vyvolává otázky ohledně souhlasu a autorských práv, když zdrojové záběry ukazují skutečné lidi nebo patří někomu jinému.
Většina kanálů video-to-video má dva kroky. Nejprve extrahují strukturu ze zdrojového videa: hloubkové mapy z modelů jako MiDaS nebo Depth Anything, hranové nebo čárové mapy, kostry lidských pozic z nástrojů jako OpenPose a někdy i optický tok, který zaznamenává, jak se pixely pohybují mezi snímky. Poté vygenerují nové snímky podmíněné touto strukturou plus výzvu ke stylu nebo referenční obrázek. ControlNet, představený v roce 2023, to udělal pro Stable Diffusion praktickým tím, že umožnil generování hloubkové mapy nebo kostry pozice řídit bez přeškolování základního modelu. Klíčovým nastavením je obvykle síla transformace nebo potlačení šumu. Zdrojový snímek je částečně zašuměný a poté odšumovaný směrem k novému stylu. Nízká pevnost zůstává blízká originálu, ale mění se jen málo. Vysoká síla dává odvážnější styl, ale výstup se začíná odklánět od zdroje a bliká mezi snímky. Hloubková klimatizace udržuje rozvržení místnosti a umístění objektů. Úprava pozice udržuje pohyb člověka. Hranové mapy si zachovávají jemné obrysy. Existují tři široké přístupy. Šíření po jednotlivých snímcích pomocí ControlNet spoléhá na sdílená semena a pozornost napříč snímky, aby se omezilo blikání. Metody klíčových snímků pečlivě upraví styl několika snímků a šíří, které vypadají jako ostatní, jako to dělá EbSynth s propagací založenou na záplatách. Výzkumné metody, jako je Rerender-A-Video a TokenFlow, jdou tímto směrem dále. Nativní video modely, které přijímají vstupní video, které Runway Gen-1 nabídl v roce 2023, zvládají čas uvnitř modelu. Obvyklá mylná představa je, že restylování anonymizuje lidi nebo mění záběry v nové, volně použitelné dílo. Nedělá ani jedno automaticky. Chůze, tvar těla, hlas a prostředí často zůstávají identifikovatelné, stále platí práva na podobu a publicitu a na podkladové záběry se vztahují autorská práva. Zodpovědné použití znamená natáčení vlastního materiálu nebo získání povolení a zveřejnění, že záznam byl přeměněn.
Nezávislý filmař natáčí herce v garáži a převádí záběry do malovaného fantazijního vzhledu pomocí hloubkových map, takže stěny, stoly a dveře si zachovávají svůj tvar v každém snímku.
Taneční tvůrce vyjme kostry z rutiny a vytvoří animovanou postavu, která předvede stejnou choreografii se stejným načasováním.
Malá agentura pomocí komerčního nástroje pro převod videa na video předělává záběry produktů smartphonů do podoby papírového řemesla, čímž snižuje sílu transformace, takže tvar a logo produktu zůstávají čitelné.
Někdo změní virální klip cizího člověka na karikaturu a znovu jej zveřejní. Tělo, hlas a gesta osoby jsou stále rozpoznatelné a autorská práva původního uživatele, který video nahrál, nezmizela.
Modely pro úpravu videa, které berou zdrojový klip a přímo sledují strukturu a pohyb, nahrazují v mnoha nástrojích ručně vytvořené kanály pro jednotlivé snímky. Pravděpodobné oblasti zlepšení jsou delší klipy, lepší zachování tváří a rukou a jemnější kontrola nad tím, které oblasti se mění. Na straně zodpovědného používání jsou standardy původu, jako jsou C2PA Content Credentials, pravidla pro označování platforem a požadavky na souhlas pro podobizny skutečných lidí, stále relevantnější. Jak konzistentně budou nástroje vynucovat souhlas, je stále nejasné a různé platformy a jurisdikce s tím mohou nakládat odlišně.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Transformace stylu videa na video využívá umělou inteligenci, obvykle difúzní modely, aby poskytla existujícímu záznamu nový vzhled, jako je anime, animace z hlíny nebo olejové barvy, při zachování původního pohybu, načasování a kompozice. Je to důležité, protože umožňuje tvůrcům znovu použít skutečné výkony a práci s kamerou v nových vizuálních stylech. Také vyvolává otázky ohledně souhlasu a autorských práv, když zdrojové záběry ukazují skutečné lidi nebo patří někomu jinému.
Potrubí nejprve zachytí strukturu zdroje, aby generování mohlo sledovat jeho rozložení a pohyb při změně stylu.
ControlNet přidává cestu úpravy, takže strukturální vstupy, jako jsou kostry hloubky nebo pozice, vedou výstup existujícího modelu.
Vyšší síla více šumí zdroj, což dává modelu větší volnost. To znamená více stylu, ale méně věrnosti a větší nekonzistence mezi snímky.
Pose skelety zachycují kloubní pozice v průběhu času, takže přímo zachovávají lidský pohyb.
Keyframe propagation restyles a few frames carefully and then carries that appearance through the rest of the clip.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
AI Eye Contact Correction for Video
Vizuální AI