VolgendeVolgende gids
Conversationele beeldbewerking met multimodale modellen
Visuele AI
Visuele AI-GIDS
Met InstructPix2Pix kun je een foto bewerken door een eenvoudig commando te typen, zoals 'maak het winter' of 'verander de kat in een hond', zonder dat je maskers of selectiehulpmiddelen nodig hebt.
Luister naar deze gidsAI-verteld · ~2 min
It taught a diffusion model to follow editing instructions directly.
InstructPix2Pix is a diffusion model conditioned on an input image and an editing instruction. Its authors constructed synthetic training pairs by using GPT-3 to generate instructions and Prompt-to-Prompt with Stable Diffusion to create edited image examples. They report that the trained model can apply user-written instructions to real images without per-example fine-tuning or inversion. This does not mean inference is a single network evaluation: diffusion sampling still uses iterative denoising. Two guidance scales trade instruction adherence against similarity to the source image, and the model can alter details beyond the requested edit, so review remains necessary.
Een blogger typt 'herfstbladeren toevoegen' om een zomerse landschapsfoto om te zetten in een seizoenspost.
Een e-commerceverkoper geeft de opdracht 'de kleur van het shirt te veranderen in marineblauw' om in één keer productkleurvarianten te produceren.
Een docent bewerkt een historische foto met 'colorize this' om een zwart-wit archiefbeeld levendig te maken voor een les.
Een maker van een meme beveelt 'zet een zonnebril op de hond' zonder het gezicht van de hond handmatig te maskeren.
Instruction-based editing can make image changes easier to request, but generative outputs still need review for unintended alterations, missing details, and unsupported historical claims.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Met InstructPix2Pix kun je een foto bewerken door een eenvoudig commando te typen, zoals 'maak het winter' of 'verander de kat in een hond', zonder dat je maskers of selectiehulpmiddelen nodig hebt. Het leerde een diffusiemodel om bewerkingsinstructies rechtstreeks te volgen.
Je typt eenvoudigweg een instructie als 'maak het winter'; er zijn geen maskers of regioselectie nodig.
De auteurs combineerden door GPT-3 gegenereerde ondertitelingsparen met Prompt-to-Prompt-beeldsynthese om automatisch triples op te bouwen.
Eén schaal bepaalt hoe sterk de bewerking de instructie volgt; de andere bepaalt hoeveel van de bronafbeelding behouden blijft.
Een instructie richt zich op een specifieke verandering, dus het model behoudt regio's die de instructie niet vermeldt.
The paper describes applying the trained model to an image and instruction without per-example fine-tuning or inversion. The diffusion model still performs iterative denoising during inference.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Conversationele beeldbewerking met multimodale modellen
Visuele AI