À suivreGuide suivant
Montage One-Shot Tune-A-Video
IA visuelle
GUIDE DE L'IA Visuelle
Édition interactive DragGAN
DragGAN vous permet de modifier une image en faisant littéralement glisser des points : saisissez un endroit et faites-le glisser vers une cible, et l'image se déforme de manière réaliste, changeant de pose, de forme ou d'expression.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
It matters because it makes precise, intuitive image manipulation possible without sliders, masks, or text prompts.
Plongée profonde
DragGAN, de Pan, Tewari, Leimkuhler et collègues de Max Planck et partenaires (SIGGRAPH 2023), a introduit l'édition interactive par points des images générées par GAN. L'utilisateur place un ou plusieurs points « poignées » sur une image et les points « cibles » correspondants où ils doivent se déplacer. DragGAN pousse ensuite de manière itérative le code latent afin que le contenu sous chaque poignée glisse vers sa cible tandis que le reste de l'image reste cohérent. Vous pouvez allonger les pattes d'un animal, faire sourire une personne, faire pivoter une voiture ou modifier les contours d'un paysage, tout cela en faisant glisser. Il est essentiel que les modifications respectent la diversité des images apprises, de sorte que les résultats restent réalistes plutôt que de maculer les pixels. Un masque facultatif restreint les régions autorisées à se déplacer, offrant ainsi un contrôle localisé précis.
Mise en œuvre dans le monde réel
Ajuster l'expression d'un portrait, la direction du regard ou la coiffure en faisant glisser les points du visage
Changer la pose et l'orientation d'un animal ou d'un véhicule, comme faire pivoter une voiture ou repositionner une tête de lion
Remodelage des photos de produits (allongement, élargissement ou repos des objets) pour les maquettes de conception
Affiner les images de paysages ou de mode en faisant glisser les contours, par exemple en modifiant les formes des montagnes ou l'ajustement des vêtements
L'avenir de l'édition interactive DragGAN
DragGAN a déclenché un travail de suivi rapide apportant un contrôle basé sur la traînée aux modèles de diffusion (tels que DragDiffusion et FreeDrag), qui gèrent les photos réelles et le contenu arbitraire de manière plus robuste que les GAN seuls. Attendez-vous à ce que l'édition par glisser devienne un outil standard dans les logiciels de création, combiné avec des contrôles de texte et de région, et étendu à la vidéo et à la 3D afin que les utilisateurs puissent poser des objets sur des images ou remodeler les maillages de manière interactive, tout en préservant le photoréalisme.
Le mettre en pratique
Pourquoi c'est important
- Vitesse et échelle. L’IA visuelle peut automatiser les tâches d’inspection, de détection et de marquage à grande échelle.
- Choix de construction. Les équipes créatives peuvent prototyper des concepts plus rapidement avec moins de révisions manuelles.
- Équipe et flux de travail. Les opérations peuvent utiliser des signaux d’image et vidéo qui étaient auparavant difficiles à traiter.
Attention à
- Les droits à l’image et le consentement peuvent devenir des risques juridiques si la provenance n’est pas claire.
- Les performances du modèle peuvent varier en fonction de l'éclairage, des données démographiques et des environnements.
- Les faux positifs peuvent passer inaperçus si les seuils de confiance ne sont pas surveillés.
Prochaines étapes
- Définissez des critères d’acceptation pour la précision, le rappel et les coûts d’erreur.
- Testez avec des données qui correspondent aux conditions de production réelles.
- Ajoutez un examen humain pour les prédictions peu fiables ou à fort impact.
- Suivez la dérive du modèle et revalidez après les modifications de la caméra ou de l’ensemble de données.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the DragGAN Interactive Editing quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
What is DragGAN Interactive Editing?
DragGAN vous permet de modifier une image en faisant littéralement glisser des points : saisissez un endroit et faites-le glisser vers une cible, et l'image se déforme de manière réaliste, changeant de pose, de forme ou d'expression. C’est important car cela permet une manipulation précise et intuitive des images sans curseurs, masques ou invites de texte.
Comment un utilisateur modifie-t-il une image dans DragGAN ?
Les modifications DragGAN fonctionnent en plaçant des points de poignée et en les faisant glisser vers des emplacements cibles, déformant l'image en conséquence.
Quelles sont les deux étapes principales alternées de DragGAN ?
DragGAN alterne la supervision des mouvements (déplacement des fonctionnalités vers les cibles) et le suivi des points (déplacement des poignées), en itérant jusqu'à ce que ce soit terminé.
Pourquoi les modifications DragGAN semblent-elles réalistes plutôt que tachées ?
Étant donné que la manipulation se produit dans l'espace latent d'un GAN pré-entraîné, les sorties restent sur la variété d'images réalistes.
Que fait le masque facultatif dans le contrôle DragGAN ?
Un masque permet aux utilisateurs de limiter les modifications aux régions choisies afin que le reste de l'image reste fixe.
DragGAN a notamment été présenté dans quel lieu en 2023 ?
DragGAN a été publié au SIGGRAPH 2023, une conférence de premier plan sur l'infographie.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet