DalšíDalší průvodce
Konverzační úpravy obrázků pomocí multimodálních modelů
Vizuální AI
Vizuální průvodce AI
InstructPix2Pix vám umožňuje upravovat fotografii zadáním prostého příkazu, jako je „udělej zimu“ nebo „proměňte kočku v psa“, bez masky nebo nástrojů pro výběr.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Naučilo difúzní model přímo následovat pokyny pro úpravy.
InstructPix2Pix is a diffusion model conditioned on an input image and an editing instruction. Its authors constructed synthetic training pairs by using GPT-3 to generate instructions and Prompt-to-Prompt with Stable Diffusion to create edited image examples. They report that the trained model can apply user-written instructions to real images without per-example fine-tuning or inversion. This does not mean inference is a single network evaluation: diffusion sampling still uses iterative denoising. Two guidance scales trade instruction adherence against similarity to the source image, and the model can alter details beyond the requested edit, so review remains necessary.
Bloger píše „přidat podzimní listí“, aby změnil vzhled letní fotografie krajiny pro sezónní příspěvek.
Prodejce v e-shopu dává pokyn „změňte barvu košile na námořnickou“, aby se z jednoho záběru vyrobily barevné varianty produktu.
Učitel upraví historickou fotografii pomocí příkazu „vybarvit toto“, aby byl černobílý archivní snímek živý pro vyučovací hodinu.
Tvůrce meme přikazuje „nasadit psovi sluneční brýle“, aniž by mu ručně maskoval obličej.
Instruction-based editing can make image changes easier to request, but generative outputs still need review for unintended alterations, missing details, and unsupported historical claims.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
InstructPix2Pix vám umožňuje upravovat fotografii zadáním prostého příkazu, jako je „udělej zimu“ nebo „proměňte kočku v psa“, bez masky nebo nástrojů pro výběr. Naučilo difúzní model přímo následovat pokyny pro úpravy.
Jednoduše zadáte pokyn jako 'udělej zimu'; nejsou potřeba žádné masky ani výběr regionu.
Autoři zkombinovali páry titulků vygenerované GPT-3 se syntézou obrázků Prompt-to-Prompt, aby se automaticky vytvořily trojky.
Jedna stupnice určuje, jak silně se editace řídí instrukcí; druhý určuje, jak velká část zdrojového obrazu se zachová.
Instrukce se zaměřuje na konkrétní změnu, takže model zachovává oblasti, které instrukce nezmiňuje.
The paper describes applying the trained model to an image and instruction without per-example fine-tuning or inversion. The diffusion model still performs iterative denoising during inference.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Konverzační úpravy obrázků pomocí multimodálních modelů
Vizuální AI