DalšíDalší průvodce
Časová konzistence a blikání ve videu AI
Vizuální AI
Vizuální průvodce AI
Konzistence postavy znamená, že tvář, tělo, vlasy, oblečení a styl stejné postavy budou rozeznatelné v mnoha obrázcích a scénách generovaných umělou inteligencí.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Samotné textové výzvy to spolehlivě nedokážou, takže tvůrci používají referenční obrázky, znakové LoRA a kodéry identity. Je to důležité pro komiksy, storyboardy, obrázkové knihy a maskoty značek, kde čtenáři musí rozeznat jednu postavu od snímku k snímku.
Samotné výzvy selhávají, protože každá generace začíná čerstvým náhodným hlukem a popis jako „žena s krátkými zrzavými vlasy a zeleným sakem“ se hodí pro miliony různých tváří. I s pevným semínkem změní změna výzvy cestu odšumování, takže se změní i plocha. Praktici používají tři hlavní skupiny technik. Úprava referenčního obrazu prochází jeden nebo více obrazů postavy kodérem obrazu a vkládá výsledné prvky do textu. IP-Adapter (Tencent, 2023) je široce používaný otevřený příklad a Midjourney přidal parametr referenčního znaku v roce 2024. Nepotřebuje žádné školení a dobře zachycuje celkový vzhled. Jemné detaily, jako jsou tetování, šperky a tištěné vzory, však mají tendenci se unášet a vysoká referenční hmotnost může také kopírovat pozici a osvětlení reference. Postavové LoRA a související metoda DreamBooth dolaďují model na sadě obrázků postavy (často 10 až 30 nebo více) a spojují výsledek se vzácným spouštěcím žetonem. Toto je obvykle nejvěrnější možnost pro složité návrhy, včetně oblečení a jiných než lidských postav. Náklady jsou čas na zaškolení a dva způsoby selhání. Overfit LoRA opakuje pózy, výrazy nebo pozadí ze své tréninkové sady. Nedostatečně zdatný ztrácí identitu. Použití dvou znaků LoRA v jednom obrázku často spojuje jejich vlastnosti. Identitní kodéry jako InstantID, PhotoMaker a IP-Adapter FaceID extrahují vložení ve stylu rozpoznávání obličeje z jediné fotografie. Silně zachovávají identitu obličeje, ale pouze obličej: vlasy, oblečení a tvar těla nejsou uzamčeny. Bojují také se stylizovanými nebo kreslenými postavičkami, protože rozpoznávači obličejů za nimi byli trénováni na skutečných fotografiích. Novější multimodální modely obrázků mohou brát obrázky jako kontext a řídit se pokyny pro úpravy, jako je „stejná postava, teď sedí“. Obvyklá mylná představa je, že jakákoliv metoda řeší konzistenci. V praxi se mezi scénami s několika postavami stále překrývají atributy a většina profesionálních pracovních postupů kombinuje metody a poté ručně opravuje zbývající posun.
Ilustrátor obrázkových knih trénuje postavu LoRA na asi 20 schválených kresbách liščího hrdiny a poté vkládá své spouštěcí slovo na každou stránku, takže označení lišky a zelený šátek zůstanou stejné.
Umělec scénáře vloží jeden snímek hlavy do kodéru identity, jako je InstantID, aby vložil stejnou tvář do dvanácti snímků s různými úhly kamery a osvětlením.
Marketingový tým používá funkci referenčního obrázku, aby zachoval maskotův vzhled při změně sezónního pozadí, a poté opraví logo, které se na maskotově košili namalovalo.
Tvůrce komiksu vytvoří list postavy s předním, bočním a zadním pohledem, poté jej předá editoru obrázků, který se řídí pokyny a žádá o nové pózy ve stejném oblečení.
Obrazové modely, které přijímají referenční obrázky v kontextu a dodržují pokyny pro úpravy, se rychle zlepšují, což snižuje potřebu trénovat vlastní LoRA pro jednoduché projekty. Udržet několik odlišných postav stabilních v jedné scéně, držet přesné detaily oblečení a zůstat konzistentní ve velmi odlišných uměleckých stylech zůstává otevřeným problémem. Jak generování videa dozrává, stejná výzva se rozšiřuje v průběhu času, kdy identita musí držet snímek po snímku. Práva na souhlas a podobu budou důležitější, protože kodéry identity usnadňují opětovné použití tváře skutečné osoby z jedné fotografie.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Konzistence postavy znamená, že tvář, tělo, vlasy, oblečení a styl stejné postavy budou rozeznatelné v mnoha obrázcích a scénách generovaných umělou inteligencí. Samotné textové výzvy to spolehlivě nedokážou, takže tvůrci používají referenční obrázky, znakové LoRA a kodéry identity. Je to důležité pro komiksy, storyboardy, obrázkové knihy a maskoty značek, kde čtenáři musí rozeznat jednu postavu od snímku k snímku.
Seed opraví zvuk při startu, ale výzva řídí každý krok odšumování. Změňte výzvu a změní se cesta, stejně jako plocha.
Postava LoRA dolaďuje aktualizace nízké váhy na 10 až 30 nebo více obrázcích postavy a spojuje je se vzácným spouštěcím žetonem.
Identifikační kodéry extrahují rysy obličeje z jedné fotografie. Nic mimo obličej není uzamčeno, takže oblečení a vlasy mohou unášet.
IP-Adapter přidává samostatné projekce klíče obrazu a hodnoty. Jejich výstup pozornosti je zmenšen a přidán k výstupu křížové pozornosti textu.
Overfit LoRA si zapamatoval vedlejší rysy své tréninkové sady, jako jsou pozice a pozadí, stejně jako postava.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Časová konzistence a blikání ve videu AI
Vizuální AI