À suivreGuide suivant
Génération de texte en 3D
IA visuelle
GUIDE DE L'IA Visuelle
Génération mise à la terre GLIGEN
GLIGEN (Grounded-Language-to-Image Generation) vous permet de contrôler exactement où les objets apparaissent dans une image générée en alimentant les cadres de délimitation et les étiquettes du modèle à côté de l'invite de texte.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
Il transforme un texte en image vague en une synthèse précise et contrôlable par la mise en page.
Plongée profonde
Les modèles standard de conversion texte-image ont du mal à contrôler l'espace : demandez "un chat à gauche d'un chien" et vous vous trompez souvent de placement. GLIGEN, introduit en 2023, résout ce problème en ajoutant des entrées de base telles que des cadres de délimitation associés à des entités de texte ou d'image, des points clés ou des images de référence. Surtout, il gèle les poids du modèle de diffusion pré-entraîné d'origine et injecte de nouvelles couches d'auto-attention fermées pouvant être entraînées qui absorbent les jetons de mise à la terre. Cela signifie qu'il s'appuie sur un modèle tel que Stable Diffusion sans détruire ses connaissances acquises, et que le déclenchement commence près de zéro afin que le comportement du modèle de base soit préservé au début de la formation. Le résultat est une génération fondée sur un monde ouvert : vous pouvez placer des objets décrits arbitrairement à des emplacements spécifiés, et cela se généralise à des concepts et des dispositions non vus lors de la formation à la mise à la terre.
Mise en œuvre dans le monde réel
Placer un logo ou un produit dans une région exacte d'une publicité générée à l'aide d'un cadre de délimitation
Composer des scènes complexes en spécifiant où chaque personnage ou objet doit être placé avant le rendu
Génération de données d'entraînement pour la détection d'objets avec des emplacements de boîtes de vérité terrain connus
Inpeindre un objet décrit dans une région dessinée par l'utilisateur d'une photo existante
L’avenir de GLIGEN Grounded Generation
La génération ancrée et contrôlable par la disposition devient la norme dans les outils de production. Attendez-vous à ce que le conditionnement spatial de style GLIGEN fusionne avec d'autres méthodes de contrôle telles que ControlNet et les invites régionales, et s'étende à la vidéo et à la 3D où le placement des objets dans le temps et dans l'espace est encore plus important. À mesure que les modèles adoptent des interfaces de suivi d'instructions, le contrôle de mise en page par glisser-déposer et les graphiques de scène spécifiés par la langue rendront une composition précise accessible sans astuces d'ingénierie rapide.
Le mettre en pratique
Pourquoi c'est important
- Vitesse et échelle. L’IA visuelle peut automatiser les tâches d’inspection, de détection et de marquage à grande échelle.
- Choix de construction. Les équipes créatives peuvent prototyper des concepts plus rapidement avec moins de révisions manuelles.
- Équipe et flux de travail. Les opérations peuvent utiliser des signaux d’image et vidéo qui étaient auparavant difficiles à traiter.
Attention à
- Les droits à l’image et le consentement peuvent devenir des risques juridiques si la provenance n’est pas claire.
- Les performances du modèle peuvent varier en fonction de l'éclairage, des données démographiques et des environnements.
- Les faux positifs peuvent passer inaperçus si les seuils de confiance ne sont pas surveillés.
Prochaines étapes
- Définissez des critères d’acceptation pour la précision, le rappel et les coûts d’erreur.
- Testez avec des données qui correspondent aux conditions de production réelles.
- Ajoutez un examen humain pour les prédictions peu fiables ou à fort impact.
- Suivez la dérive du modèle et revalidez après les modifications de la caméra ou de l’ensemble de données.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the GLIGEN Grounded Generation quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
Qu’est-ce que GLIGEN Grounded Generation ?
GLIGEN (Grounded-Language-to-Image Generation) vous permet de contrôler exactement où les objets apparaissent dans une image générée en alimentant les cadres de délimitation et les étiquettes du modèle à côté de l'invite de texte. Il transforme un texte en image vague en une synthèse précise et contrôlable par la mise en page.
Quel problème GLIGEN résout-il principalement ?
GLIGEN ajoute des entrées de base telles que des cadres de délimitation afin que vous puissiez contrôler exactement où les objets sont placés, ce que les invites en texte brut gèrent mal.
Comment GLIGEN préserve-t-il la connaissance du modèle de diffusion pré-entraîné ?
GLIGEN gèle le modèle de base et injecte de nouvelles couches d'auto-attention fermées, de sorte que les connaissances originales acquises restent intactes.
Qu'est-ce qu'une entrée de mise à la terre typique acceptée par GLIGEN ?
GLIGEN prend en charge la mise à la terre via des cadres de délimitation avec des entités texte/image, des points clés et des images de référence.
Pourquoi la porte des nouvelles couches d'attention de GLIGEN est-elle initialisée à zéro ?
Une porte initialisée à zéro signifie que la mise à la terre n'a aucun effet initialement, préservant le modèle d'origine et maintenant la formation stable à mesure que le contrôle augmente.
Que signifie la génération ancrée en « monde ouvert » dans GLIGEN ?
GLIGEN généralise au-delà de son ensemble de formation à la terre, en plaçant de nouveaux objets décrits à des emplacements spécifiés.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet