LegközelebbKövetkező útmutató
Sora és Text-to-Video
Vizuális AI
Vizuális MI ÚTMUTATÓ
A Make-A-Video a Meta 2022-es rendszere, amely a szöveges felszólítást rövid videoklippé alakítja anélkül, hogy a címkézett szöveg-videó párokat gyakorolná.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Ez azért fontos, mert megmutatta, hogy a szöveg-kép modelleken belüli vizuális tudást csak címkézetlen videó segítségével meg lehet tanítani mozgatni.
Make-A-Video, announced by Meta AI in September 2022, generates brief video clips from text prompts. Its key trick is decoupling appearance from motion: a text-to-image model learns what things look like from paired text-image data, while separate spatiotemporal layers learn how they move from video footage with no associated text. Meta said this reduced the need for paired text-video examples and that the research used publicly available datasets. Meta also described making videos from images and creating new videos similar to existing videos. The base model produces low-resolution, low-frame-rate clips, then dedicated networks interpolate extra frames and upscale spatial resolution. The result was strikingly coherent for its era, though clips were short, blurry, and prone to flicker and warping.
Egyetlen leíró mondat animálása egy rövid hurkolt klipbe egy közösségi média bejegyzéshez
Mozgó illusztrációként életre kelt egy statikus koncepciót, mint például a „portrét festő mackó”
Interpoláció két felhasználó által biztosított állókép között, hogy egyenletes átmenetet hozzon létre
Gyors mozgású piszkozatok generálása elképzelt jelenetekből a storyboard-hoz minden forgatás előtt
A Make-A-Video image-prior-plus-unlabeled-motion receptje beindította a teljes szöveg-videó hullámot. Leszármazottai a hosszabb, nagyobb felbontású, átmenetileg stabil klipeket hangsúlyozzák, szabályozható kameramozgással és hanggal. Várhatóan az alapötlet, a hatalmas képi tudás újrafelhasználása és a mozgástanulás olcsón megmarad, még akkor is, amikor az architektúrák a transzformátor alapú látens diffúzió és az egyesített modellek felé tolódnak el, amelyek a kép- vagy videókondicionálást is elfogadják szerkesztésre és folytatásra.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A Make-A-Video a Meta 2022-es rendszere, amely a szöveges felszólítást rövid videoklippé alakítja anélkül, hogy a címkézett szöveg-videó párokat gyakorolná. Ez azért fontos, mert megmutatta, hogy a szöveg-kép modelleken belüli vizuális tudást csak címkézetlen videó segítségével meg lehet tanítani mozgatni.
A Make-A-Video szétválasztja a problémát: a szöveg-kép modell a feliratos képekből tanulja meg, hogyan néznek ki a dolgok, míg a különálló időbeli rétegek mozgást tanulnak meg nyers, címkézetlen videóból.
Kibővíti a 2D-s térbeli konvolúciót és a figyelmet új időbeli rétegekkel, amelyek megtanulják, hogyan változik a tartalom az idő múlásával.
A durva, alacsony felbontású, alacsony képkockasebességű piszkozat után az interpoláció képkockákat ad hozzá, a szuperfelbontású modulok pedig növelik a felbontást.
A klipek csak néhány másodpercesek voltak, viszonylag alacsony felbontásúak, és hajlamosak az időbeli villogásra és torzításra.
Meta said Make-A-Video can create videos from images as well as text prompts.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Sora és Text-to-Video
Vizuális AI