DalšíDalší průvodce
Sora a převod textu na video
Vizuální AI
Vizuální průvodce AI
Make-A-Video je systém Meta pro rok 2022, který přemění textovou výzvu na krátký videoklip, aniž byste museli trénovat na párech text-video.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Je to důležité, protože se ukázalo, že vizuální znalosti uvnitř modelů text-to-image lze „naučit“ pohybovat se pouze pomocí neoznačeného videa.
Make-A-Video, announced by Meta AI in September 2022, generates brief video clips from text prompts. Its key trick is decoupling appearance from motion: a text-to-image model learns what things look like from paired text-image data, while separate spatiotemporal layers learn how they move from video footage with no associated text. Meta said this reduced the need for paired text-video examples and that the research used publicly available datasets. Meta also described making videos from images and creating new videos similar to existing videos. The base model produces low-resolution, low-frame-rate clips, then dedicated networks interpolate extra frames and upscale spatial resolution. The result was strikingly coherent for its era, though clips were short, blurry, and prone to flicker and warping.
Animace jedné popisné věty do krátkého smyčkového klipu pro příspěvek na sociálních sítích
Oživení statického konceptu, jako je „medvídek malující portrét“ jako pohyblivá ilustrace
Interpolace mezi dvěma fotografiemi dodanými uživatelem pro vytvoření plynulého přechodového videa
Generování rychlých návrhů vymyšlených scén pro storyboarding před jakýmkoli natáčením
Receptura Make-A-Video image-prior-plus-unlabeled-motion zasévala celou vlnu text-to-video. Jeho potomci kladou důraz na delší, časově stabilní klipy s vyšším rozlišením a ovladatelným pohybem kamery a zvukem. Očekávejte, že základní myšlenka, opětovné použití masivních obrazových znalostí a levné učení pohybu, přetrvá, i když se architektury posouvají směrem k latentní difúzi založené na transformátorech a sjednoceným modelům, které také akceptují úpravu obrazu nebo videa pro úpravy a pokračování.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Make-A-Video je systém Meta pro rok 2022, který přemění textovou výzvu na krátký videoklip, aniž byste museli trénovat na párech text-video. Záleží na tom, protože se ukázalo, že vizuální znalosti uvnitř modelů text-to-image lze „naučit“ pohybovat se pouze pomocí neoznačeného videa.
Make-A-Video tento problém odděluje: model text-to-image se učí, jak věci vypadají z obrázků s titulky, zatímco samostatné časové vrstvy se učí pohyb ze surového, neoznačeného videa.
Rozšiřuje 2D prostorové konvoluce a pozornost o nové časové vrstvy, které se učí, jak se obsah v průběhu času mění.
Po hrubém návrhu s nízkým rozlišením a nízkou snímkovou frekvencí přidá interpolace snímky a moduly s vysokým rozlišením zvýší rozlišení.
Klipy byly jen pár sekund, relativně nízké rozlišení a náchylné k dočasnému blikání a zkreslení.
Meta said Make-A-Video can create videos from images as well as text prompts.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Sora a převod textu na video
Vizuální AI