Vizuální průvodce AI

Make-A-Video Text-to-Video

Make-A-Video je systém Meta pro rok 2022, který přemění textovou výzvu na krátký videoklip, aniž byste museli trénovat na párech text-video.

Poslechněte si tento návodAI-vyprávěný · ~2 min

Na této stránce2 minuty čtení
  1. Přehled
  2. Hluboký ponor
  3. Real-World Implementace
  4. Budoucnost Make-A-Video Text-to-Video
  5. Uvedení do praxe
  6. Pokračujte v objevování
  7. Často kladené otázky

Přehled

Je to důležité, protože se ukázalo, že vizuální znalosti uvnitř modelů text-to-image lze „naučit“ pohybovat se pouze pomocí neoznačeného videa.

Hluboký ponor

Make-A-Video, announced by Meta AI in September 2022, generates brief video clips from text prompts. Its key trick is decoupling appearance from motion: a text-to-image model learns what things look like from paired text-image data, while separate spatiotemporal layers learn how they move from video footage with no associated text. Meta said this reduced the need for paired text-video examples and that the research used publicly available datasets. Meta also described making videos from images and creating new videos similar to existing videos. The base model produces low-resolution, low-frame-rate clips, then dedicated networks interpolate extra frames and upscale spatial resolution. The result was strikingly coherent for its era, though clips were short, blurry, and prone to flicker and warping.

Real-World Implementace

Animace jedné popisné věty do krátkého smyčkového klipu pro příspěvek na sociálních sítích

Oživení statického konceptu, jako je „medvídek malující portrét“ jako pohyblivá ilustrace

Interpolace mezi dvěma fotografiemi dodanými uživatelem pro vytvoření plynulého přechodového videa

Generování rychlých návrhů vymyšlených scén pro storyboarding před jakýmkoli natáčením

Budoucnost Make-A-Video Text-to-Video

Receptura Make-A-Video image-prior-plus-unlabeled-motion zasévala celou vlnu text-to-video. Jeho potomci kladou důraz na delší, časově stabilní klipy s vyšším rozlišením a ovladatelným pohybem kamery a zvukem. Očekávejte, že základní myšlenka, opětovné použití masivních obrazových znalostí a levné učení pohybu, přetrvá, i když se architektury posouvají směrem k latentní difúzi založené na transformátorech a sjednoceným modelům, které také akceptují úpravu obrazu nebo videa pro úpravy a pokračování.

Uvedení do praxe

Proč na tom záleží

  • Rychlost a měřítko. Vizuální AI může automatizovat úkoly inspekce, detekce a označování ve velkém měřítku.
  • Volby sestavy. Kreativní týmy mohou prototypovat koncepty rychleji s menším počtem ručních revizí.
  • Tým a pracovní postup. Operace mohou využívat obrazové a video signály, které bylo dříve obtížné zpracovat.

Pozor na

  • Obrazová práva a souhlas se mohou stát právním rizikem, pokud je původ nejasný.
  • Výkon modelu se může lišit podle osvětlení, demografických údajů a prostředí.
  • Falešně pozitivní mohou zůstat bez povšimnutí, pokud nejsou monitorovány prahové hodnoty spolehlivosti.

Další kroky

  1. Definujte kritéria přijatelnosti pro přesnost, stažení a náklady na chyby.
  2. Testujte s daty, která odpovídají reálným výrobním podmínkám.
  3. Přidejte lidskou kontrolu pro předpovědi s nízkou spolehlivostí nebo velkým dopadem.
  4. Sledujte posun modelu a znovu ověřte po změnách kamery nebo datové sady.

Pokračujte v objevování

Newsletter zdarma

Získejte denní přehled o AI

Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.

Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.

Otestujte se

Take the Make-A-Video Text-to-Video quiz

Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.

Spustit kvíz

Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte

Často kladené otázky

Co je Make-A-Video Text-to-Video?

Make-A-Video je systém Meta pro rok 2022, který přemění textovou výzvu na krátký videoklip, aniž byste museli trénovat na párech text-video. Záleží na tom, protože se ukázalo, že vizuální znalosti uvnitř modelů text-to-image lze „naučit“ pohybovat se pouze pomocí neoznačeného videa.

Jaká byla hlavní inovace, která umožnila Make-A-Video vyhnout se tomu, aby potřebovala označené dvojice text-video?

Make-A-Video tento problém odděluje: model text-to-image se učí, jak věci vypadají z obrázků s titulky, zatímco samostatné časové vrstvy se učí pohyb ze surového, neoznačeného videa.

Jak Make-A-Video přidává do obrazového modelu schopnost pohybu?

Rozšiřuje 2D prostorové konvoluce a pozornost o nové časové vrstvy, které se učí, jak se obsah v průběhu času mění.

Co dělají fáze interpolace snímků a superrozlišení?

Po hrubém návrhu s nízkým rozlišením a nízkou snímkovou frekvencí přidá interpolace snímky a moduly s vysokým rozlišením zvýší rozlišení.

Jaké bylo typické omezení výstupu Make-A-Video?

Klipy byly jen pár sekund, relativně nízké rozlišení a náchylné k dočasnému blikání a zkreslení.

Besides text prompts, what visual input can Make-A-Video use to create a video?

Meta said Make-A-Video can create videos from images as well as text prompts.