Vizuális MI ÚTMUTATÓ

Videó-videó stílus átalakítás

A videóról videóra stílus átalakítás mesterséges intelligenciát, általában diffúziós modelleket használ, hogy új külsőt adjon a meglévő felvételeknek, például animének, agyag animációnak vagy olajfestéknek, miközben megtartja az eredeti mozgást, időzítést és kompozíciót.

Hallgassa meg ezt az útmutatótAI-narrált · ~3 min

Ezen az oldalon4 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A videó-videó stílus átalakítás jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Ez azért fontos, mert lehetővé teszi az alkotók számára, hogy valódi előadásokat és kameramunkákat új vizuális stílusban használhassanak fel. Beleegyezési és szerzői jogi kérdéseket is felvet, ha a forrásfelvétel valós személyeket mutat, vagy valaki másé.

Mély merülés

A legtöbb videó-videó csővezeték két lépésből áll. Először struktúrát vonnak ki a forrásvideóból: mélységtérképeket olyan modellekből, mint a MiDaS vagy Depth Anything, él- vagy vonaltérképeket, emberi pózvázakat olyan eszközökből, mint az OpenPose, és néha optikai áramlást, amely rögzíti, hogyan mozognak a képpontok a képkockák között. Ezután új képkockákat generálnak az adott struktúrával, valamint egy stíluspromptot vagy referenciaképet. A 2023-ban bevezetett ControlNet praktikussá tette ezt a Stable Diffusion számára azáltal, hogy az alapmodell átképzése nélkül lehetővé tette a mélységi térkép vagy a pózok csontváz generálását. A legfontosabb beállítás általában az átalakítás vagy a zajtalanítás erőssége. A forrás keret részben zajos, majd zajtalanítva az új stílus felé. Az alacsony szilárdság közel marad az eredetihez, de keveset változik. A nagy szilárdság merészebb stílust ad, de a kimenet elkezd eltávolodni a forrástól, és villogni kezd a képkockák között. A mélységi kondicionálás megtartja a helyiség elrendezését és az objektumok elhelyezését. A pózkondicionálás megtartja az emberi mozgást. Az éltérképek finom körvonalakat tartanak fenn. Három átfogó megközelítés létezik. A ControlNet segítségével a képkockánkénti diffúzió a megosztott magokra és a keretek közötti figyelemre támaszkodik a villogás korlátozása érdekében. A kulcsképkocka-módszerek óvatosan átformálnak néhány képkockát, és a többihez hasonlóan terjesztik, ahogy az EbSynth teszi a patch-alapú terjesztéssel. A kutatási módszerek, mint például a Rerender-A-Video és a TokenFlow, ebbe az irányba tolják tovább. A natív videomodellek, amelyek fogadják a bemeneti videót, amelyet a Runway Gen-1 kínált 2023-ban, kezelik az időt a modellen belül. Gyakori tévhit, hogy az újrastílusozás anonimizálja az embereket, vagy új, szabadon felhasználható alkotássá varázsolja a felvételeket. Egyik sem automatikusan. A járás, a testforma, a hang és a beállítás gyakran azonosítható marad, a hasonlatosság és a nyilvánosság joga továbbra is érvényes, és a mögöttes felvétel szerzői joga megmarad. A felelősségteljes felhasználás azt jelenti, hogy lefilmezed saját anyagodat vagy engedélyt kérsz, és nyilvánosságra hozod, hogy a felvételt átalakították.

Valós megvalósítás

Egy független filmes színészeket forgat le egy garázsban, és a felvételeket festett fantáziaképessé alakítja mélységi térképek segítségével, így a falak, asztalok és ajtónyílások minden képkockában megtartják alakjukat.

Egy táncalkotó pózcsontvázakat bont ki egy rutinból, és animált karaktert generál, aki ugyanazt a koreográfiát ugyanazzal az időzítéssel adja elő.

Egy kis ügynökség az okostelefonról készült termékfelvételeket egy kereskedelmi videó-videó eszközzel alakítja át papíripari megjelenésre, csökkentve az átalakítás erősségét, így a termék formája és logója olvasható marad.

Valaki egy idegen vírusos klipjét karikatúrává alakítja, és újra közzéteszi. A személy teste, hangja és gesztusai továbbra is felismerhetők, és az eredeti feltöltő szerzői jogai sem szűntek meg.

A videó-videó stílus átalakítás jövője

A forrásklipet rögzítő, a struktúrát és a mozgást közvetlenül követő, natív videószerkesztő modellek számos eszközben felváltják a kézzel épített képkocka-folyamatokat. A javulás lehetséges területei a hosszabb klipek, az arcok és kezek jobb megőrzése, valamint a megváltozott régiók pontosabb szabályozása. A felelősségteljes használat oldaláról a származási szabványok, például a C2PA Content Credentials, a platformcímkézési szabályok és a valódi emberek képmására vonatkozó hozzájárulási követelmények egyre relevánsabbak. Még mindig nem világos, hogy az eszközök milyen következetesen kényszerítik ki a hozzájárulást, és a különböző platformok és joghatóságok eltérően kezelhetik azt.

A gyakorlatba ültetés

Miért számít

  • Sebesség és méretarány. A vizuális AI képes automatizálni az ellenőrzési, észlelési és címkézési feladatokat nagy léptékben.
  • Építési lehetőségek. A kreatív csapatok gyorsabban prototípusokat készíthetnek a koncepciókból, kevesebb kézi átdolgozással.
  • Csapat és munkafolyamat. A műveletek olyan kép- és videojeleket használhatnak, amelyeket korábban nehéz volt feldolgozni.

Vigyázz

  • A képhez fűződő jogok és a beleegyezés jogi kockázatot jelenthet, ha a származás nem egyértelmű.
  • A modell teljesítménye a világítástól, a demográfiai adatoktól és a környezettől függően változhat.
  • A hamis pozitívumok észrevétlenek maradhatnak, hacsak nem figyelik a megbízhatósági küszöböket.

Következő lépések

  1. Határozza meg a pontosság, a visszahívás és a hibaköltségek elfogadási kritériumait.
  2. Tesztelje a valós gyártási feltételeknek megfelelő adatokkal.
  3. Adjon hozzá emberi felülvizsgálatot az alacsony megbízhatóságú vagy nagy hatású előrejelzésekhez.
  4. A modell elsodródásának nyomon követése és újbóli érvényesítése a kamera vagy az adatkészlet módosítása után.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Töltsd ki a videó-videó stílusátalakítási kvízt

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a videó-videó stílus átalakítás?

A videóról videóra stílus átalakítás mesterséges intelligenciát, általában diffúziós modelleket használ, hogy új külsőt adjon a meglévő felvételeknek, például animének, agyag animációnak vagy olajfestéknek, miközben megtartja az eredeti mozgást, időzítést és kompozíciót. Ez azért fontos, mert lehetővé teszi az alkotók számára, hogy valódi előadásokat és kameramunkákat új vizuális stílusban használhassanak fel. Beleegyezési és szerzői jogi kérdéseket is felvet, ha a forrásfelvétel valós személyeket mutat, vagy valaki másé.

Mi a tipikus első lépés a videóról videóra történő átstílusozás során?

A csővezetékek először rögzítik a forrás szerkezetét, így a generálás követni tudja annak elrendezését és mozgását, miközben megváltoztatja a stílust.

Mit tett praktikussá a ControlNet a Stable Diffusion számára?

A ControlNet egy kondicionáló útvonalat ad hozzá, így a szerkezeti bemenetek, például a mélység vagy a pózvázak irányítják a meglévő modell kimenetét.

Mi történik általában, ha megemeli az átalakulást vagy a zajtalanító erőt?

A nagyobb erősség jobban zajosítja a forrást, ami nagyobb szabadságot ad a modellnek. Ez több stílust, de kevesebb hűséget és több képkocka közötti következetlenséget jelent.

Melyik kondicionáló jel a legalkalmasabb a táncos koreográfiájának megőrzésére?

A pózvázak idővel rögzítik az ízületi pozíciókat, így közvetlenül megőrzik az emberi mozgást.

Hogyan közelítik meg a kulcsképkocka módszerek, például az EbSynth az újrastílusokat?

A kulcsképkocka terjesztése néhány képkockát óvatosan átformál, majd ezt a megjelenést a klip többi részén is átviszi.