Vizuális MI ÚTMUTATÓ

Készítsen videót szövegből videóvá

A Make-A-Video a Meta 2022-es rendszere, amely a szöveges felszólítást rövid videoklippé alakítja anélkül, hogy a címkézett szöveg-videó párokat gyakorolná.

Hallgassa meg ezt az útmutatótAI-narrált · ~2 min

Ezen az oldalon2 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A videó készítés jövője szövegből videóvá
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Ez azért fontos, mert megmutatta, hogy a szöveg-kép modelleken belüli vizuális tudást csak címkézetlen videó segítségével meg lehet tanítani mozgatni.

Mély merülés

Make-A-Video, announced by Meta AI in September 2022, generates brief video clips from text prompts. Its key trick is decoupling appearance from motion: a text-to-image model learns what things look like from paired text-image data, while separate spatiotemporal layers learn how they move from video footage with no associated text. Meta said this reduced the need for paired text-video examples and that the research used publicly available datasets. Meta also described making videos from images and creating new videos similar to existing videos. The base model produces low-resolution, low-frame-rate clips, then dedicated networks interpolate extra frames and upscale spatial resolution. The result was strikingly coherent for its era, though clips were short, blurry, and prone to flicker and warping.

Valós megvalósítás

Egyetlen leíró mondat animálása egy rövid hurkolt klipbe egy közösségi média bejegyzéshez

Mozgó illusztrációként életre kelt egy statikus koncepciót, mint például a „portrét festő mackó”

Interpoláció két felhasználó által biztosított állókép között, hogy egyenletes átmenetet hozzon létre

Gyors mozgású piszkozatok generálása elképzelt jelenetekből a storyboard-hoz minden forgatás előtt

A videó készítés jövője szövegből videóvá

A Make-A-Video image-prior-plus-unlabeled-motion receptje beindította a teljes szöveg-videó hullámot. Leszármazottai a hosszabb, nagyobb felbontású, átmenetileg stabil klipeket hangsúlyozzák, szabályozható kameramozgással és hanggal. Várhatóan az alapötlet, a hatalmas képi tudás újrafelhasználása és a mozgástanulás olcsón megmarad, még akkor is, amikor az architektúrák a transzformátor alapú látens diffúzió és az egyesített modellek felé tolódnak el, amelyek a kép- vagy videókondicionálást is elfogadják szerkesztésre és folytatásra.

A gyakorlatba ültetés

Miért számít

  • Sebesség és méretarány. A vizuális AI képes automatizálni az ellenőrzési, észlelési és címkézési feladatokat nagy léptékben.
  • Építési lehetőségek. A kreatív csapatok gyorsabban prototípusokat készíthetnek a koncepciókból, kevesebb kézi átdolgozással.
  • Csapat és munkafolyamat. A műveletek olyan kép- és videojeleket használhatnak, amelyeket korábban nehéz volt feldolgozni.

Vigyázz

  • A képhez fűződő jogok és a beleegyezés jogi kockázatot jelenthet, ha a származás nem egyértelmű.
  • A modell teljesítménye a világítástól, a demográfiai adatoktól és a környezettől függően változhat.
  • A hamis pozitívumok észrevétlenek maradhatnak, hacsak nem figyelik a megbízhatósági küszöböket.

Következő lépések

  1. Határozza meg a pontosság, a visszahívás és a hibaköltségek elfogadási kritériumait.
  2. Tesztelje a valós gyártási feltételeknek megfelelő adatokkal.
  3. Adjon hozzá emberi felülvizsgálatot az alacsony megbízhatóságú vagy nagy hatású előrejelzésekhez.
  4. A modell elsodródásának nyomon követése és újbóli érvényesítése a kamera vagy az adatkészlet módosítása után.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Make-A-Video Text-to-Video quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a Make-A-Video Text-to-Video?

A Make-A-Video a Meta 2022-es rendszere, amely a szöveges felszólítást rövid videoklippé alakítja anélkül, hogy a címkézett szöveg-videó párokat gyakorolná. Ez azért fontos, mert megmutatta, hogy a szöveg-kép modelleken belüli vizuális tudást csak címkézetlen videó segítségével meg lehet tanítani mozgatni.

Mi volt az a központi újítás, amely lehetővé tette a Make-A-Video számára, hogy elkerülje a feliratozott szöveg-videó párokat?

A Make-A-Video szétválasztja a problémát: a szöveg-kép modell a feliratos képekből tanulja meg, hogyan néznek ki a dolgok, míg a különálló időbeli rétegek mozgást tanulnak meg nyers, címkézetlen videóból.

Hogyan ad a Make-A-Video mozgásképességet egy képmodellhez?

Kibővíti a 2D-s térbeli konvolúciót és a figyelmet új időbeli rétegekkel, amelyek megtanulják, hogyan változik a tartalom az idő múlásával.

Mit csinál a keretinterpoláció és a szuperfelbontás szakasz?

A durva, alacsony felbontású, alacsony képkockasebességű piszkozat után az interpoláció képkockákat ad hozzá, a szuperfelbontású modulok pedig növelik a felbontást.

Mi volt a Make-A-Video kimenetének tipikus korlátozása?

A klipek csak néhány másodpercesek voltak, viszonylag alacsony felbontásúak, és hajlamosak az időbeli villogásra és torzításra.

Besides text prompts, what visual input can Make-A-Video use to create a video?

Meta said Make-A-Video can create videos from images as well as text prompts.