DalšíDalší průvodce
AI Image Generators ve výtvarné třídě
Vizuální AI
Vizuální průvodce AI
Generátory AI obrázků mají problémy s rukama, protože jsou malé, velmi flexibilní, často částečně skryté a zřídka popsány v popiscích.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Modely se učí, jak vypadají ruce na povrchu, aniž by se spolehlivě učily jejich strukturu, například pět prstů na ruce. Chyby ruky se staly dobře známým znakem syntetických obrázků a pochopení toho, proč k nim dochází, vysvětluje, jak se novější modely zlepšily, a proč počítání prstů již není spolehlivým způsobem, jak odhalit padělky.
Diffusion models learn from billions of image-caption pairs by learning to reverse added noise. They become very good at local visual patterns: skin texture, lighting, the general look of a hand. What they never receive is an explicit rule that a hand has five fingers joined to a palm in a particular order. Several factors make hands hard. Hands take up a small part of most photos, so they get few pixels. Latent diffusion models such as Stable Diffusion also shrink images by a factor of eight in each dimension before generating, which can leave a hand only a handful of latent cells. Hands take an enormous range of poses, grip objects, overlap each other and are often partly hidden, so the training data is full of incomplete views. Fingers look alike, so a model producing 'finger, finger, finger' has no strong signal telling it when to stop. Captions almost never mention hands, let alone their pose, so the prompt offers little guidance. The result is a set of familiar errors: extra or missing fingers, fused digits, thumbs on the wrong side, and hands melting into objects or other people. Teeth, ears and jewelry go wrong for similar reasons. Newer systems have reduced these failures. Larger models, higher training resolutions, better filtered and captioned data, transformer-based architectures and fine-tuning on human preference ratings all helped. Midjourney's version 5 in 2023 was widely noted for better hands, and later models from several labs improved further. Errors have not disappeared, though, especially in complex poses, crowds and hands holding things. A common misconception is that the model 'cannot count'. It is more accurate to say it learns appearance statistically, and correct structure emerges only when the data and model capacity are sufficient.
Ranní portrét Stable Diffusion ukazuje někoho držícího hrnek s šesti prsty obalenými kolem něj, typická chyba, když model kombinuje mnoho překrývajících se poloh úchopu.
Skupinová scéna z staršího modelu slučuje ruce dvou lidí, kde se dotýkají, protože model nemá pevnou představu, kde jedno tělo končí a druhé začíná.
Umělkyně vloží ControlNet OpenPose nebo hloubkovou mapu vytvořenou z fotografie její vlastní ruky, aby si vynutila správnou pozici, a poté dokreslí všechny zbývající chyby.
Ověřovatel faktů poznamenává, že podezřelý padělek má naprosto normální ruce, což připomíná, že novější generátory často kreslí ruce správně a jsou potřeba další vodítka.
Chyby rukou se budou pravděpodobně stále zmenšovat, jak modely rostou a tréninková data se zlepšují, ale neobvyklé pozice, propletené ruce a ruce manipulující s předměty zůstávají těžší než obyčejná otevřená dlaň. Generování videa přidává novou verzi problému, protože prsty musí zůstat konzistentní od snímku k snímku. Pro každého, kdo posuzuje pravost, jsou ruční kontroly slabým signálem. Poškozená ruka stále naznačuje, že byl vytvořen obrázek, ale správná ruka nic nedokazuje. Záznamy o původu a vodoznaky jsou spolehlivější než kontrola anatomie.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Generátory obrázků AI mají špatné ruce, protože ruce jsou malé, vysoce flexibilní, často částečně skryté a zřídka popsané v titulcích. Modely se učí, jak vypadají ruce na povrchu, aniž by se spolehlivě učily jejich strukturu, jako je pět prstů na ruce. Chyby ruky se staly dobře známým znakem syntetických obrázků a pochopení toho, proč k nim dochází, vysvětluje, jak se novější modely zlepšily, a proč počítání prstů již není spolehlivým způsobem, jak odhalit padělky.
Modely se učí, jak věci vypadají statisticky. Nic v tréninku jim nedává výslovné pravidlo, že ruka má pět prstů.
Malá ručička, která se v každé dimenzi osmkrát zmenšuje, končí s velmi malým prostorem pro reprezentaci pěti různých prstů.
Bez textu popisujícího pozice rukou model nemůže propojit výzvová slova se strukturou ruky.
Verze 5 Midjourney, vydaná v roce 2023, byla široce známá díky vylepšeným handám, které jsou součástí širšího trendu škálování a lepších dat.
Zvětšení obilí dává ruce mnohem více latentních buněk během regenerace, což zlepšuje její strukturu.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
AI Image Generators ve výtvarné třídě
Vizuální AI