Il prossimoProssima guida
Editing di immagini conversazionale con modelli multimodali
IA visiva
GUIDA AI visiva
InstructPix2Pix ti consente di modificare una foto digitando un semplice comando come "fai inverno" o "trasforma il gatto in un cane", senza bisogno di maschere o strumenti di selezione.
Ascolta questa guidaNarrato dall'IA · ~2 min
Ha insegnato a un modello di diffusione a seguire direttamente le istruzioni di modifica.
InstructPix2Pix is a diffusion model conditioned on an input image and an editing instruction. Its authors constructed synthetic training pairs by using GPT-3 to generate instructions and Prompt-to-Prompt with Stable Diffusion to create edited image examples. They report that the trained model can apply user-written instructions to real images without per-example fine-tuning or inversion. This does not mean inference is a single network evaluation: diffusion sampling still uses iterative denoising. Two guidance scales trade instruction adherence against similarity to the source image, and the model can alter details beyond the requested edit, so review remains necessary.
Un blogger digita "aggiungi fogliame autunnale" per rinnovare una foto di un paesaggio estivo per un post stagionale.
Un venditore di e-commerce ordina di "cambiare il colore della maglietta in blu scuro" per produrre varianti di colore del prodotto da un unico colpo.
Un insegnante modifica una foto storica con "colora questa" per rendere vivida un'immagine di archivio in bianco e nero per una lezione.
Un creatore di meme ordina di "mettere gli occhiali da sole al cane" senza mascherare manualmente il volto del cane.
Instruction-based editing can make image changes easier to request, but generative outputs still need review for unintended alterations, missing details, and unsupported historical claims.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
InstructPix2Pix ti consente di modificare una foto digitando un semplice comando come "fai inverno" o "trasforma il gatto in un cane", senza bisogno di maschere o strumenti di selezione. Ha insegnato a un modello di diffusione a seguire direttamente le istruzioni di modifica.
Basta digitare un'istruzione come "fai inverno"; non sono necessarie maschere o selezione della regione.
Gli autori hanno combinato coppie di didascalie generate da GPT-3 con la sintesi di immagini Prompt-to-Prompt per creare automaticamente triple.
Una scala determina quanto fortemente la modifica segue l'istruzione; l'altro determina quanta parte dell'immagine sorgente viene preservata.
Un'istruzione mira a una modifica specifica, quindi il modello preserva le regioni che l'istruzione non menziona.
The paper describes applying the trained model to an image and instruction without per-example fine-tuning or inversion. The diffusion model still performs iterative denoising during inference.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Editing di immagini conversazionale con modelli multimodali
IA visiva