InstructPix2Pix utasításszerkesztés
Az InstructPix2Pix lehetővé teszi a fényképek szerkesztését egy egyszerű parancs begépelésével, mint például a „tegyünk télen” vagy „változtasd a macskát kutyává”, maszkra vagy kiválasztási eszközökre nincs szükség.
Áttekintés
It taught a diffusion model to follow editing instructions directly.
Mély merülés
Az InstructPix2Pix (Brooks et al., 2023) egy olyan diffúziós modell, amely úgy van finomhangolva, hogy egy bemeneti képet és egy szöveges utasítást készítsen, és egyetlen előremenetben adja ki a szerkesztett képet. Okos trükkje a betanítási adatok: a szerzők a GPT-3 segítségével hozták létre az előtte-utána feliratpárokat, majd a Prompt-to-Prompt with Stable Diffusion segítségével szintetizálták az egyezés előtti/utána képpárokat. Ez egy nagy adathalmazt (eredeti kép, utasítás, szerkesztett kép) tartalmazott, amelyekre gyakorolhatták őket, mindezt kézi címkézés nélkül. Mivel az utasítások egy változást írnak le, nem pedig egy teljes jelenetet, a modell megőrzi a kép nem említett részeit. Két iránymutató skálát használ, az egyiket arra, hogy mennyire követi az utasításokat, a másikat pedig arra, hogy mennyire ragaszkodik az eredeti képhez, lehetővé téve a felhasználók számára, hogy a szerkesztés erejét lecseréljék a hűségre.
Technikai betekintés
A modellfeltételek mind a forrásképen, mind az utasításon két tengely mentén osztályozó nélküli vezetést alkalmazva. Az egyik skála a szöveges utasítást, a másik a bemeneti képet súlyozza. A kép léptékének emelése az eredetiből több marad érintetlen, míg a szöveg léptékének emelése agresszívebbé teszi a szerkesztést. Ez a kettős útmutatás lehetővé teszi, hogy egyetlen általános utasítás megbízhatóan módosítsa az egyik szempontot, miközben a fénykép többi része felismerhetővé válik.
Stratégiai hatás
Sebesség és méretarány
A vizuális AI képes automatizálni az ellenőrzési, észlelési és címkézési feladatokat nagy léptékben.
Építési lehetőségek
A kreatív csapatok gyorsabban prototípusokat készíthetnek a koncepciókból, kevesebb kézi átdolgozással.
Csapat és munkafolyamat
A műveletek olyan kép- és videojeleket használhatnak, amelyeket korábban nehéz volt feldolgozni.
Az InstructPix2Pix utasításszerkesztés jövője
Az utasítás-alapú szerkesztés a képeszközök alapértelmezett felületévé válik, amely ma már beépül a mainstream alkalmazásokba és az olyan utódaiba, mint a MagicBrush és a feltörekvő többfordulós szerkesztők. Számíthat a finom részletek jobb megőrzésére, a térbeli utasítások megbízható kezelésére, mint például a „mozgasd balra a lámpát”, és a zökkenőmentes kiterjesztést a videóra, ahol egyetlen paranccsal egy teljes klipet szerkeszthetsz. Ha ezeket a modelleket nyelvi ágensekkel kapcsolja össze, akkor egy teljes szerkesztési munkamenetet írhat le beszélgetés közben.
Valós megvalósítás
Egy blogger beírja az „add őszi lombozat” szót, hogy egy nyári tájképet újjáfesthessen egy szezonális bejegyzéshez.
Egy e-kereskedelmi eladó azt utasítja, hogy „változtassa az ing színét sötétkékre”, hogy egy képpel készítsen termékszínváltozatokat.
Egy tanár egy történelmi fényképet szerkeszt a „színezés” funkcióval, hogy egy fekete-fehér archív képet élettel telivé tegyen a leckében.
A mém készítője azt parancsolja, hogy „tegyél napszemüveget a kutyára” anélkül, hogy kézzel eltakarná a kutya arcát.
Kockázatok és védőkorlátok
A képhez fűződő jogok és a beleegyezés jogi kockázatot jelenthet, ha a származás nem egyértelmű.
A modell teljesítménye a világítástól, a demográfiai adatoktól és a környezettől függően változhat.
A hamis pozitívumok észrevétlenek maradhatnak, hacsak nem figyelik a megbízhatósági küszöböket.
Végrehajtási ütemterv
Határozza meg a pontosság, a visszahívás és a hibaköltségek elfogadási kritériumait.
Tesztelje a valós gyártási feltételeknek megfelelő adatokkal.
Adjon hozzá emberi felülvizsgálatot az alacsony megbízhatóságú vagy nagy hatású előrejelzésekhez.
A modell elsodródásának nyomon követése és újbóli érvényesítése a kamera vagy az adatkészlet módosítása után.
Folytassa a felfedezést
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the InstructPix2Pix Instruction Editing quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Következő útmutató
DragGAN interaktív szerkesztés
Gyakran ismételt kérdések
What is InstructPix2Pix Instruction Editing?
Az InstructPix2Pix lehetővé teszi a fényképek szerkesztését egy egyszerű parancs begépelésével, mint például a „tegyünk télen” vagy „változtasd a macskát kutyává”, maszkra vagy kiválasztási eszközökre nincs szükség. Megtanította a diffúziós modellt a szerkesztési utasítások közvetlen követésére.
Hogyan mondja meg az InstructPix2Pix-nek, hogy mit változtasson?
Egyszerűen be kell írnia egy olyan utasítást, mint a „make it winter”; nincs szükség maszkokra vagy régióválasztásra.
Hogyan jöttek létre az InstructPix2Pix képzési adatai?
A szerzők a GPT-3 által generált feliratpárokat Prompt-to-Prompt képszintézissel kombinálták, hogy automatikusan hármasokat hozzanak létre.
Mit vezérel az InstructPix2Pix két vezetőskálája?
Egy skála szabályozza, hogy a szerkesztés milyen erősen követi az utasítást; a másik szabályozza, hogy a forráskép mennyit őrizze meg.
Miért hajlamos a modell magára hagyni a kép meg nem említett részeit?
Egy utasítás egy adott változást céloz meg, így a modell megőrzi azokat a régiókat, amelyeket az utasítás nem említ.
Hány előrelépésre van szüksége az InstructPix2Pix-nek a szerkesztéshez?
Ez egy egyetlen feltételes diffúziós modell, amely együtt veszi a képet és az utasítást, és kiadja a szerkesztést.