Vizuális MI ÚTMUTATÓ

Miért tévednek a mesterséges intelligencia-képgenerátorok?

Az AI képgenerátorok tévednek, mert a kezek kicsik, nagyon rugalmasak, gyakran részben rejtve vannak, és ritkán írják le a feliratokban.

Hallgassa meg ezt az útmutatótAI-narrált · ~3 min

Ezen az oldalon4 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A jövő, amiért a mesterséges intelligencia képgenerátorok tévednek
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

A modellek anélkül tanulják meg, hogyan néznek ki a kezek a felszínen, anélkül, hogy megbízhatóan megismernék a szerkezetüket, például kezenként öt ujjat. A kézhibák a szintetikus képek jól ismert jeleivé váltak, és annak megértése, hogy miért fordulnak elő, megmagyarázza az újabb modellek fejlődését, és azt is, hogy az ujjak számlálása miért nem megbízható módszer a hamisítványok észlelésére.

Mély merülés

A diffúziós modellek több milliárd kép-felirat párból tanulnak azáltal, hogy megtanulják megfordítani a hozzáadott zajt. Nagyon jók a helyi vizuális minták: a bőr textúrája, a megvilágítás, a kéz általános megjelenése. Amit soha nem kapnak meg, az egy kifejezett szabály, miszerint egy kéznek öt ujja meghatározott sorrendben kapcsolódik a tenyérhez. Számos tényező nehezíti a kezet. A kezek a legtöbb fénykép egy kis részét foglalják el, így kevés képpontot kapnak. A látens diffúziós modellek, mint például a Stable Diffusion, szintén nyolcszorosára zsugorítják a képeket minden dimenzióban, mielőtt létrehoznák, aminek következtében csak egy maroknyi látens sejt maradhat a kezében. A kezek rengeteg pózt vesznek fel, megragadják a tárgyakat, átfedik egymást és gyakran részben rejtettek, így az edzésadatok tele vannak hiányos nézetekkel. Az ujjak egyformán néznek ki, így az „ujj, ujj, ujj” kifejezést produkáló modellnek nincs erős jele, amely megmondja, mikor kell megállnia. A feliratok szinte soha nem említik a kezeket, nem is beszélve a pózról, így a felszólítás kevés útmutatást ad. Az eredmény egy sor ismerős hiba: extra vagy hiányzó ujjak, összeolvadt számjegyek, hüvelykujj a rossz oldalon, és a kezek tárgyakba vagy más emberekbe olvadnak. A fogak, a fülek és az ékszerek hasonló okokból romlanak el. Az újabb rendszerek csökkentették ezeket a hibákat. A nagyobb modellek, a nagyobb képzési felbontás, a jobban szűrt és feliratozott adatok, a transzformátor alapú architektúrák és az emberi preferencia-besorolások finomhangolása mind segítettek. A Midjourney 5-ös verziója 2023-ban széles körben ismertté vált a jobb kezek miatt, és több laboratóriumból származó későbbi modellek tovább fejlődtek. A hibák azonban nem tűntek el, különösen összetett pózokban, tömegben és dolgokat tartó kézben. Általános tévhit, hogy a modell „nem tud számolni”. Helyesebb azt mondani, hogy statisztikailag tanulja meg a megjelenést, és csak akkor alakul ki a helyes struktúra, ha az adatok és a modellkapacitás elegendő.

Valós megvalósítás

Egy korai Stable Diffusion portré azt mutatja, hogy valaki egy kávéscsészét tart, és hat ujja köré van tekeredve, ami tipikus kudarc, amikor egy modell sok egymást átfedő markolatpózt kever.

Egy régebbi modell csoportos jelenete egyesíti két ember kezét, ahol összeérnek, mert a modellnek nincs határozott elképzelése arról, hol végződik az egyik test és hol kezdődik a másik.

Egy művész a saját kezének fényképéből készített ControlNet OpenPose-t vagy mélységtérképet táplál be, hogy kikényszerítse a helyes pózt, majd befesti a fennmaradó hibákat.

Egy tényellenőr megjegyzi, hogy a feltételezett hamisítványnak teljesen normális kezei vannak, ami arra emlékeztet, hogy az újabb generátorok gyakran helyesen rajzolják le a kezeket, és más nyomokra van szükség.

A jövő, amiért a mesterséges intelligencia képgenerátorok tévednek

A kézhibák valószínűleg folyamatosan csökkenni fognak, ahogy a modellek nőnek és a képzési adatok javulnak, de a szokatlan pózok, az összekulcsolt kezek és a tárgyakat manipuláló kezek keményebbek maradnak, mint egy egyszerű nyitott tenyér. A videógenerálás a probléma új verzióját adja, mivel az ujjaknak képről kockára egységesnek kell maradniuk. Mindenki számára, aki a hitelességet ítéli meg, a kézi ellenőrzés gyenge jel. A rosszul formázott kéz még mindig azt sugallja, hogy egy kép keletkezett, de a helyes kéz nem bizonyít semmit. A származási feljegyzések és a vízjelek megbízhatóbbak, mint az anatómia ellenőrzése.

A gyakorlatba ültetés

Miért számít

  • Sebesség és méretarány. A vizuális AI képes automatizálni az ellenőrzési, észlelési és címkézési feladatokat nagy léptékben.
  • Építési lehetőségek. A kreatív csapatok gyorsabban prototípusokat készíthetnek a koncepciókból, kevesebb kézi átdolgozással.
  • Csapat és munkafolyamat. A műveletek olyan kép- és videojeleket használhatnak, amelyeket korábban nehéz volt feldolgozni.

Vigyázz

  • A képhez fűződő jogok és a beleegyezés jogi kockázatot jelenthet, ha a származás nem egyértelmű.
  • A modell teljesítménye a világítástól, a demográfiai adatoktól és a környezettől függően változhat.
  • A hamis pozitívumok észrevétlenek maradhatnak, hacsak nem figyelik a megbízhatósági küszöböket.

Következő lépések

  1. Határozza meg a pontosság, a visszahívás és a hibaköltségek elfogadási kritériumait.
  2. Tesztelje a valós gyártási feltételeknek megfelelő adatokkal.
  3. Adjon hozzá emberi felülvizsgálatot az alacsony megbízhatóságú vagy nagy hatású előrejelzésekhez.
  4. A modell elsodródásának nyomon követése és újbóli érvényesítése a kamera vagy az adatkészlet módosítása után.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Töltsd ki a Miért kapnak rosszat a mesterséges intelligencia-képgenerátorok kvízt

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az oka annak, hogy a mesterséges intelligencia képgenerátorok tévednek?

A mesterséges intelligencia képgenerátorai tévednek, mert a kezek kicsik, nagyon rugalmasak, gyakran részben rejtettek, és ritkán írják le a feliratokban. A modellek anélkül tanulják meg, hogyan néznek ki a kezek a felszínen, anélkül, hogy megbízhatóan megismernék a szerkezetüket, például kezenként öt ujjat. A kézhibák a szintetikus képek jól ismert jeleivé váltak, és annak megértése, hogy miért fordulnak elő, megmagyarázza az újabb modellek fejlődését, és azt is, hogy az ujjak számlálása miért nem megbízható módszer a hamisítványok észlelésére.

Az útmutató szerint mit tanul meg főként egy diffúziós modell a kép-felirat párokból?

A modellek megtanulják, hogyan néznek ki a dolgok statisztikailag. Az edzés során semmi sem ad kifejezett szabályt, miszerint a kéznek öt ujja van.

Hogyan nehezíti meg a Stable Diffusion látens tömörítését a kezek rajzolása?

Egy kis kéz, amely minden dimenzióban nyolcszorosára zsugorodik, nagyon kevés helyet foglal el öt különböző ujj ábrázolásához.

A feliratok miért nem segítenek a modelleknek a kezükben?

A kézpózokat leíró szöveg nélkül a modell nem tud prompt szavakat kézszerkezethez kapcsolni.

Az útmutató szerint melyik Midjourney verziót ismerték el széles körben a jobb kezek miatt 2023-ban?

A Midjourney 2023-ban kiadott 5-ös verziója széles körben ismertté vált a jobb lapokról, ami a skálázás és a jobb adatok szélesebb trendjének része.

Mit csinál egy ADetailer stílusú észlelési és újrafestési munkafolyamat?

A termés megnagyobbítása a kéznek sokkal több látens sejtet ad a regeneráció során, ami javítja a szerkezetét.