DragGAN interaktív szerkesztés
A DragGAN lehetővé teszi a kép szerkesztését a pontok szó szerint húzásával: ragadjon meg egy helyet, és húzza a célpontra, és a kép valósághűen deformálódik, megváltoztatva a pózt, alakot vagy kifejezést.
Áttekintés
It matters because it makes precise, intuitive image manipulation possible without sliders, masks, or text prompts.
Mély merülés
A DragGAN, a Pan, Tewari, Leimkuhler és a Max Planck és partnerei munkatársai (SIGGRAPH 2023) bevezették a GAN által generált képek pontalapú interaktív szerkesztését. A felhasználó egy vagy több „fogantyú” pontot helyez el a képen, és a megfelelő „cél” pontokat, ahol mozognia kell. A DragGAN ezután iteratív módon eltolja a látens kódot, így az egyes fogantyúk alatti tartalom a cél felé csúszik, míg a kép többi része koherens marad. Húzással meghosszabbíthatja az állatok lábát, megmosolyogtathatja az embert, megforgathatja az autót, vagy megváltoztathatja a táj kontúrjait. Lényeges, hogy a szerkesztések tiszteletben tartják a tanult képsokaságot, így az eredmények valósághűek maradnak, nem pedig elmosódnak a képpontok. Az opcionális maszk korlátozza, hogy mely régiók mozgathatók, finom lokalizált szabályozást biztosítva.
Technikai betekintés
A DragGAN egy előre betanított GAN látens és funkcióterében működik. Két váltakozó lépést használ: a mozgásfelügyeletet, amely eltolja a látens kódot, hogy az egyes fogantyúk közelében lévő elemek a célirány felé mozogjanak, és a pontkövetést, amely áthelyezi a fogantyút, hogy kövesse azt a tereptárgyat, amelyhez horgonyzott, és használja a legközelebbi szomszéd keresését a tereptárgytérképeken. E lépések megismétlése végigvezeti a képet a GAN-elosztón, sima, valósághű alakváltozásokat eredményezve.
Stratégiai hatás
Sebesség és méretarány
A vizuális AI képes automatizálni az ellenőrzési, észlelési és címkézési feladatokat nagy léptékben.
Építési lehetőségek
A kreatív csapatok gyorsabban prototípusokat készíthetnek a koncepciókból, kevesebb kézi átdolgozással.
Csapat és munkafolyamat
A műveletek olyan kép- és videojeleket használhatnak, amelyeket korábban nehéz volt feldolgozni.
A DragGAN interaktív szerkesztés jövője
A DragGAN gyors nyomon követési munkát indított el, és a húzás alapú vezérlést hozta a diffúziós modellekhez (mint például a DragDiffusion és a FreeDrag), amelyek a valódi fényképeket és tetszőleges tartalmakat robusztusabban kezelik, mint a GAN-ok. A húzással történő szerkesztéstől elvárható, hogy a kreatív szoftverek standard eszközévé váljon, szöveg- és régióvezérlőkkel kombinálva, és kiterjessze a videóra és a 3D-re is, így a felhasználók interaktív módon helyezhetik el az objektumokat a kereteken, vagy alakíthatják át a hálókat, mindezt a fotorealizmus megőrzése mellett.
Valós megvalósítás
Portré arckifejezésének, tekintetének irányának vagy frizurájának beállítása az arcpontok húzásával
Állat vagy jármű pózának és tájolásának megváltoztatása, például egy autó elforgatása vagy az oroszlánfej áthelyezése
Termékfotók átalakítása (tárgyak meghosszabbítása, szélesítése vagy áthelyezése) tervezési makettekhez
A tájképek vagy a divatképek finomhangolása a kontúrok húzásával, például a hegyek formáinak vagy a ruhák illeszkedésének megváltoztatásával
Kockázatok és védőkorlátok
A képhez fűződő jogok és a beleegyezés jogi kockázatot jelenthet, ha a származás nem egyértelmű.
A modell teljesítménye a világítástól, a demográfiai adatoktól és a környezettől függően változhat.
A hamis pozitívumok észrevétlenek maradhatnak, hacsak nem figyelik a megbízhatósági küszöböket.
Végrehajtási ütemterv
Határozza meg a pontosság, a visszahívás és a hibaköltségek elfogadási kritériumait.
Tesztelje a valós gyártási feltételeknek megfelelő adatokkal.
Adjon hozzá emberi felülvizsgálatot az alacsony megbízhatóságú vagy nagy hatású előrejelzésekhez.
A modell elsodródásának nyomon követése és újbóli érvényesítése a kamera vagy az adatkészlet módosítása után.
Folytassa a felfedezést
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the DragGAN Interactive Editing quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Következő útmutató
Tune-A-Video One-Shot Editing
Gyakran ismételt kérdések
What is DragGAN Interactive Editing?
A DragGAN lehetővé teszi a kép szerkesztését a pontok szó szerint húzásával: ragadjon meg egy helyet, és húzza a célpontra, és a kép valósághűen deformálódik, megváltoztatva a pózt, alakot vagy kifejezést. Ez azért fontos, mert lehetővé teszi a precíz, intuitív képkezelést csúszkák, maszkok vagy szöveges felszólítások nélkül.
Hogyan szerkeszthet a felhasználó egy képet a DragGAN-ban?
A DragGAN szerkesztések úgy működnek, hogy a fogópontokat elhelyezik és a célhelyekre húzzák, ennek megfelelően deformálva a képet.
Mi a DragGAN két váltakozó alapvető lépése?
A DragGAN váltogatja a mozgásfelügyeletet (a funkciókat a célok felé mozgatja) és a pontkövetést (a fogantyúk áthelyezése), addig ismételgeti, amíg elkészül.
Miért tűnnek inkább valósághűnek a DragGAN szerkesztések, semmint elkenődve?
Mivel a manipuláció egy előképzett GAN látens terében történik, a kimenetek a valósághű képek sokaságán maradnak.
Mit vezérel a DragGAN opcionális maszkja?
A maszk lehetővé teszi a felhasználók számára, hogy a szerkesztést a kiválasztott régiókra korlátozzák, így a kép többi része rögzített marad.
Melyik helyszínen mutatták be különösen a DragGAN-t 2023-ban?
A DragGAN a SIGGRAPH 2023 egyik vezető számítógépes grafikai konferencián jelent meg.