LegközelebbKövetkező útmutató
Időbeli konzisztencia és villogás az AI-videóban
Vizuális AI
Vizuális MI ÚTMUTATÓ
A karakterek konzisztenciája azt jelenti, hogy ugyanazon karakter arcát, testét, haját, ruházatát és stílusát számos mesterséges intelligencia által generált képen és jeleneten felismerhetővé kell tenni.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
A szöveges felszólítások önmagukban ezt nem tudják megbízhatóan megtenni, ezért az alkotók referenciaképeket, karakter LoRA-kat és identitáskódolókat használnak. Ez fontos a képregények, storyboardok, képeskönyvek és márka kabalák esetében, ahol az olvasóknak képkockáról kockára kell felismerniük egy karaktert.
A felszólítások önmagukban kudarcot vallanak, mert minden generáció friss, véletlenszerű zajból indul ki, és az olyan leírások, mint "egy nő rövid vörös hajjal és zöld kabáttal", több millió különböző arcra illik. Még rögzített vetőmag esetén is a prompt megváltoztatása megváltoztatja a zajcsillapító utat, így az arc is megváltozik. A gyakorlók három fő technikát alkalmaznak. A referenciakép-kondicionálás a karakter egy vagy több képét átadja egy képkódolón, és a kapott jellemzőket a szöveg mellé szúrja be. Az IP-Adapter (Tencent, 2023) egy széles körben használt nyílt példa, és a Midjourney 2024-ben hozzáadott egy karakterreferencia paramétert. Nem igényel képzést, és jól rögzíti az általános megjelenést. A finom részletek, például a tetoválások, ékszerek és nyomtatott minták azonban hajlamosak elsodródni, és a nagy referenciasúly is lemásolhatja a referencia pózát és megvilágítását. A karakter LoRA-k és a kapcsolódó DreamBooth-módszer finomhangolja a modellt a karakter képeinek halmazán (gyakran 10-30 vagy több), és az eredményt egy ritka trigger tokenhez köti. Általában ez a leghűségesebb lehetőség összetett tervekhez, beleértve a ruhákat és a nem emberi karaktereket. A költségek képzési időből és két hibamódból állnak. A túlfitt LoRA megismétli a pózokat, kifejezéseket vagy háttereket az edzéskészletéből. Az alulfitt elveszíti identitását. Két karakteres LoRA használata egy képen gyakran keveri a jellemzőket. Az identitáskódolók, például az InstantID, a PhotoMaker és az IP-Adapter FaceID arcfelismerési stílusú beágyazásokat vonnak ki egyetlen fényképből. Erősen megőrzik az arc identitást, de csak az arcot: a haj, a ruházat és a testforma nincs zárva. Stilizált vagy rajzfilmfigurákkal is küzdenek, mert a mögöttük álló arcfelismerőket valódi fényképekre képezték ki. Az újabb multimodális képmodellek kontextusként vehetik fel a képeket, és követhetik a szerkesztési utasításokat, például „ugyanaz a karakter, most ülve”. Elterjedt tévhit, hogy bármelyik módszer megoldja a konzisztenciát. A gyakorlatban a több szereplőt tartalmazó jelenetek még mindig elárasztják az attribútumokat, és a legtöbb professzionális munkafolyamat kombinálja a módszereket, majd kézzel javítja a fennmaradó sodródást.
Egy képeskönyv-illusztrátor egy rókahősről készült körülbelül 20 jóváhagyott rajzon kiképez egy LoRA karaktert, majd minden oldalra ráírja a kiváltó szót, így a róka jelzései és a zöld sál változatlanok maradnak.
A storyboard művész egy fejlövést táplál be egy identitáskódolóba, például az InstantID-be, hogy ugyanazt az arcot tizenkét felvételbe helyezze el, különböző kameraállásokkal és világítással.
A marketingcsapat egy referencia-kép funkciót használ, hogy megőrizze a kabala kinézetét, miközben megváltoztatja a szezonális hátteret, majd kifestéssel rögzíti a kabala ingére sodródó logót.
A képregény készítője elkészít egy karakterlapot elölről, oldalról és hátulról, majd átadja egy képszerkesztőnek, amely követi az utasításokat, és új pózokat kér ugyanabban a ruhában.
A referenciaképeket kontextusban elfogadó és a szerkesztési utasításokat követő képmodellek gyorsan fejlődnek, ami csökkenti az egyéni LoRA betanításának szükségességét egyszerű projektekhez. Több különálló karakter stabilan tartása egy jelenetben, a ruhák pontos részleteinek megtartása és a nagyon különböző művészeti stílusok közötti következetesség megőrzése továbbra is nyitott probléma. Ahogy a videógeneráció érlelődik, ugyanaz a kihívás az időn át terjed, ahol az identitásnak kockáról kockára kell tartania. A beleegyezés és a hasonlatossági jogok fontosabbak lesznek, mivel az identitáskódolók megkönnyítik a valódi személy arcának újrafelhasználását egyetlen fényképről.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A karakterek konzisztenciája azt jelenti, hogy ugyanazon karakter arcát, testét, haját, ruházatát és stílusát számos mesterséges intelligencia által generált képen és jeleneten felismerhetővé kell tenni. A szöveges felszólítások önmagukban ezt nem tudják megbízhatóan megtenni, ezért az alkotók referenciaképeket, karakter LoRA-kat és identitáskódolókat használnak. Ez fontos a képregények, storyboardok, képeskönyvek és márka kabalák esetében, ahol az olvasóknak képkockáról kockára kell felismerniük egy karaktert.
A mag rögzíti az indulási zajt, de a prompt minden zajtalanító lépést irányít. Változtasd meg a felszólítást, és megváltozik az út, így az arc is megváltozik.
Egy karakter LoRA finomhangolja az alacsony rangú súlyfrissítéseket a karakter 10-30 vagy több képén, és egy ritka trigger tokenhez köti őket.
Az identitáskódolók egyetlen fényképről kinyerik az arcvonásokat. Az arcon kívül semmi sincs bezárva, így a ruhák és a haj sodródhatnak.
Az IP-adapter külön képkulcs- és értékvetítéseket ad hozzá. Figyelemkibocsátásuk méretezhető, és hozzáadódik a szöveges keresztfigyelem kimenethez.
A túlfitt LoRA megjegyezte az edzéskészlet mellékes jellemzőit, például a pózokat és a hátteret, valamint a karaktert.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Időbeli konzisztencia és villogás az AI-videóban
Vizuális AI