LegközelebbKövetkező útmutató
Beszélgetéses képszerkesztés multimodális modellekkel
Vizuális AI
Vizuális MI ÚTMUTATÓ
Az InstructPix2Pix lehetővé teszi a fényképek szerkesztését egy egyszerű parancs begépelésével, mint például a „tegyünk télen” vagy „változtasd a macskát kutyává”, maszkra vagy kiválasztási eszközökre nincs szükség.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Megtanította a diffúziós modellt a szerkesztési utasítások közvetlen követésére.
InstructPix2Pix is a diffusion model conditioned on an input image and an editing instruction. Its authors constructed synthetic training pairs by using GPT-3 to generate instructions and Prompt-to-Prompt with Stable Diffusion to create edited image examples. They report that the trained model can apply user-written instructions to real images without per-example fine-tuning or inversion. This does not mean inference is a single network evaluation: diffusion sampling still uses iterative denoising. Two guidance scales trade instruction adherence against similarity to the source image, and the model can alter details beyond the requested edit, so review remains necessary.
Egy blogger beírja az „add őszi lombozat” szót, hogy egy nyári tájképet újjáfesthessen egy szezonális bejegyzéshez.
Egy e-kereskedelmi eladó azt utasítja, hogy „változtassa az ing színét sötétkékre”, hogy egy képpel készítsen termékszínváltozatokat.
Egy tanár egy történelmi fényképet szerkeszt a „színezés” funkcióval, hogy egy fekete-fehér archív képet élettel telivé tegyen a leckében.
A mém készítője azt parancsolja, hogy „tegyél napszemüveget a kutyára” anélkül, hogy kézzel eltakarná a kutya arcát.
Instruction-based editing can make image changes easier to request, but generative outputs still need review for unintended alterations, missing details, and unsupported historical claims.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Az InstructPix2Pix lehetővé teszi a fényképek szerkesztését egy egyszerű parancs begépelésével, mint például a „tegyünk télen” vagy „változtasd a macskát kutyává”, maszkra vagy kiválasztási eszközökre nincs szükség. Megtanította a diffúziós modellt a szerkesztési utasítások közvetlen követésére.
Egyszerűen be kell írnia egy olyan utasítást, mint a „make it winter”; nincs szükség maszkokra vagy régióválasztásra.
A szerzők a GPT-3 által generált feliratpárokat Prompt-to-Prompt képszintézissel kombinálták, hogy automatikusan hármasokat hozzanak létre.
Egy skála szabályozza, hogy a szerkesztés milyen erősen követi az utasítást; a másik szabályozza, hogy a forráskép mennyit őrizze meg.
Egy utasítás egy adott változást céloz meg, így a modell megőrzi azokat a régiókat, amelyeket az utasítás nem említ.
The paper describes applying the trained model to an image and instruction without per-example fine-tuning or inversion. The diffusion model still performs iterative denoising during inference.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Beszélgetéses képszerkesztés multimodális modellekkel
Vizuális AI