Il prossimoProssima guida
Montaggio One-Shot Tune-A-Video
IA visiva
GUIDA AI visiva
DragGAN ti consente di modificare un'immagine trascinando letteralmente i punti: prendi un punto e trascinalo su un bersaglio e l'immagine si deformerà in modo realistico, cambiando posa, forma o espressione.
Ascolta questa guidaNarrato dall'IA · ~2 min
È importante perché rende possibile una manipolazione precisa e intuitiva delle immagini senza cursori, maschere o suggerimenti testuali.
DragGAN, di Pan, Tewari, Leimkuhler e colleghi di Max Planck e partner (SIGGRAPH 2023), ha introdotto l'editing interattivo basato su punti delle immagini generate da GAN. L'utente posiziona uno o più punti "maniglia" su un'immagine e i corrispondenti punti "bersaglio" dove dovrebbero spostarsi. DragGAN quindi sposta in modo iterativo il codice latente in modo che il contenuto sotto ciascuna maniglia scivoli verso il suo bersaglio mentre il resto dell'immagine rimanga coerente. Puoi allungare le zampe di un animale, far sorridere una persona, ruotare un'auto o modificare i contorni di un paesaggio, tutto trascinando. Fondamentalmente, le modifiche rispettano la varietà dell'immagine appresa, quindi i risultati rimangono realistici anziché macchiare i pixel. Una maschera opzionale limita le regioni a cui è consentito spostarsi, offrendo un controllo preciso e localizzato.
Regolare l'espressione, la direzione dello sguardo o l'acconciatura di un ritratto trascinando i punti del viso
Cambiare la posa e l'orientamento di un animale o di un veicolo, come ruotare un'auto o riposizionare la testa di un leone
Rimodellamento delle foto dei prodotti (allungamento, allargamento o riposizionamento di oggetti) per modelli di design
Perfezionamento di immagini di paesaggi o di moda trascinando i contorni, ad esempio alterando le forme delle montagne o la vestibilità degli indumenti
DragGAN ha dato il via a un rapido lavoro di follow-up che porta il controllo basato sul trascinamento ai modelli di diffusione (come DragDiffusion e FreeDrag), che gestiscono foto reali e contenuti arbitrari in modo più affidabile rispetto ai soli GAN. Aspettatevi che il drag editing diventi uno strumento standard nei software creativi, combinato con controlli di testo e regione, ed esteso a video e 3D in modo che gli utenti possano posizionare oggetti su fotogrammi o rimodellare le mesh in modo interattivo, il tutto preservando il fotorealismo.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
DragGAN ti consente di modificare un'immagine trascinando letteralmente i punti: prendi un punto e trascinalo su un bersaglio e l'immagine si deformerà in modo realistico, cambiando posa, forma o espressione. È importante perché rende possibile una manipolazione delle immagini precisa e intuitiva senza cursori, maschere o istruzioni di testo.
Le modifiche DragGAN funzionano posizionando i punti maniglia e trascinandoli nelle posizioni target, deformando l'immagine di conseguenza.
DragGAN alterna la supervisione del movimento (spostamento delle funzioni verso i target) e il tracciamento dei punti (riposizionamento delle maniglie), ripetendo fino al completamento.
Poiché la manipolazione avviene nello spazio latente di un GAN preaddestrato, gli output rimangono nella varietà delle immagini realistiche.
Una maschera consente agli utenti di limitare le modifiche alle regioni scelte in modo che il resto dell'immagine rimanga fisso.
DragGAN è stato pubblicato al SIGGRAPH 2023, una delle principali conferenze sulla computer grafica.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Montaggio One-Shot Tune-A-Video
IA visiva