LegközelebbKövetkező útmutató
AI szemkontaktus korrekció videóhoz
Vizuális AI
Vizuális MI ÚTMUTATÓ
A videóról videóra stílus átalakítás mesterséges intelligenciát, általában diffúziós modelleket használ, hogy új külsőt adjon a meglévő felvételeknek, például animének, agyag animációnak vagy olajfestéknek, miközben megtartja az eredeti mozgást, időzítést és kompozíciót.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
Ez azért fontos, mert lehetővé teszi az alkotók számára, hogy valódi előadásokat és kameramunkákat új vizuális stílusban használhassanak fel. Beleegyezési és szerzői jogi kérdéseket is felvet, ha a forrásfelvétel valós személyeket mutat, vagy valaki másé.
A legtöbb videó-videó csővezeték két lépésből áll. Először struktúrát vonnak ki a forrásvideóból: mélységtérképeket olyan modellekből, mint a MiDaS vagy Depth Anything, él- vagy vonaltérképeket, emberi pózvázakat olyan eszközökből, mint az OpenPose, és néha optikai áramlást, amely rögzíti, hogyan mozognak a képpontok a képkockák között. Ezután új képkockákat generálnak az adott struktúrával, valamint egy stíluspromptot vagy referenciaképet. A 2023-ban bevezetett ControlNet praktikussá tette ezt a Stable Diffusion számára azáltal, hogy az alapmodell átképzése nélkül lehetővé tette a mélységi térkép vagy a pózok csontváz generálását. A legfontosabb beállítás általában az átalakítás vagy a zajtalanítás erőssége. A forrás keret részben zajos, majd zajtalanítva az új stílus felé. Az alacsony szilárdság közel marad az eredetihez, de keveset változik. A nagy szilárdság merészebb stílust ad, de a kimenet elkezd eltávolodni a forrástól, és villogni kezd a képkockák között. A mélységi kondicionálás megtartja a helyiség elrendezését és az objektumok elhelyezését. A pózkondicionálás megtartja az emberi mozgást. Az éltérképek finom körvonalakat tartanak fenn. Három átfogó megközelítés létezik. A ControlNet segítségével a képkockánkénti diffúzió a megosztott magokra és a keretek közötti figyelemre támaszkodik a villogás korlátozása érdekében. A kulcsképkocka-módszerek óvatosan átformálnak néhány képkockát, és a többihez hasonlóan terjesztik, ahogy az EbSynth teszi a patch-alapú terjesztéssel. A kutatási módszerek, mint például a Rerender-A-Video és a TokenFlow, ebbe az irányba tolják tovább. A natív videomodellek, amelyek fogadják a bemeneti videót, amelyet a Runway Gen-1 kínált 2023-ban, kezelik az időt a modellen belül. Gyakori tévhit, hogy az újrastílusozás anonimizálja az embereket, vagy új, szabadon felhasználható alkotássá varázsolja a felvételeket. Egyik sem automatikusan. A járás, a testforma, a hang és a beállítás gyakran azonosítható marad, a hasonlatosság és a nyilvánosság joga továbbra is érvényes, és a mögöttes felvétel szerzői joga megmarad. A felelősségteljes felhasználás azt jelenti, hogy lefilmezed saját anyagodat vagy engedélyt kérsz, és nyilvánosságra hozod, hogy a felvételt átalakították.
Egy független filmes színészeket forgat le egy garázsban, és a felvételeket festett fantáziaképessé alakítja mélységi térképek segítségével, így a falak, asztalok és ajtónyílások minden képkockában megtartják alakjukat.
Egy táncalkotó pózcsontvázakat bont ki egy rutinból, és animált karaktert generál, aki ugyanazt a koreográfiát ugyanazzal az időzítéssel adja elő.
Egy kis ügynökség az okostelefonról készült termékfelvételeket egy kereskedelmi videó-videó eszközzel alakítja át papíripari megjelenésre, csökkentve az átalakítás erősségét, így a termék formája és logója olvasható marad.
Valaki egy idegen vírusos klipjét karikatúrává alakítja, és újra közzéteszi. A személy teste, hangja és gesztusai továbbra is felismerhetők, és az eredeti feltöltő szerzői jogai sem szűntek meg.
A forrásklipet rögzítő, a struktúrát és a mozgást közvetlenül követő, natív videószerkesztő modellek számos eszközben felváltják a kézzel épített képkocka-folyamatokat. A javulás lehetséges területei a hosszabb klipek, az arcok és kezek jobb megőrzése, valamint a megváltozott régiók pontosabb szabályozása. A felelősségteljes használat oldaláról a származási szabványok, például a C2PA Content Credentials, a platformcímkézési szabályok és a valódi emberek képmására vonatkozó hozzájárulási követelmények egyre relevánsabbak. Még mindig nem világos, hogy az eszközök milyen következetesen kényszerítik ki a hozzájárulást, és a különböző platformok és joghatóságok eltérően kezelhetik azt.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A videóról videóra stílus átalakítás mesterséges intelligenciát, általában diffúziós modelleket használ, hogy új külsőt adjon a meglévő felvételeknek, például animének, agyag animációnak vagy olajfestéknek, miközben megtartja az eredeti mozgást, időzítést és kompozíciót. Ez azért fontos, mert lehetővé teszi az alkotók számára, hogy valódi előadásokat és kameramunkákat új vizuális stílusban használhassanak fel. Beleegyezési és szerzői jogi kérdéseket is felvet, ha a forrásfelvétel valós személyeket mutat, vagy valaki másé.
A csővezetékek először rögzítik a forrás szerkezetét, így a generálás követni tudja annak elrendezését és mozgását, miközben megváltoztatja a stílust.
A ControlNet egy kondicionáló útvonalat ad hozzá, így a szerkezeti bemenetek, például a mélység vagy a pózvázak irányítják a meglévő modell kimenetét.
A nagyobb erősség jobban zajosítja a forrást, ami nagyobb szabadságot ad a modellnek. Ez több stílust, de kevesebb hűséget és több képkocka közötti következetlenséget jelent.
A pózvázak idővel rögzítik az ízületi pozíciókat, így közvetlenül megőrzik az emberi mozgást.
A kulcsképkocka terjesztése néhány képkockát óvatosan átformál, majd ezt a megjelenést a klip többi részén is átviszi.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
AI szemkontaktus korrekció videóhoz
Vizuális AI