Il prossimoProssima guida
Generazione da testo a 3D
IA visiva
GUIDA AI visiva
GLIGEN (Grounded-Language-to-Image Generation) ti consente di controllare esattamente dove appaiono gli oggetti in un'immagine generata inserendo riquadri ed etichette di delimitazione del modello insieme al prompt di testo.
Ascolta questa guidaNarrato dall'IA · ~2 min
Trasforma il vago testo in immagine in una sintesi precisa e controllabile dal layout.
I modelli standard di conversione del testo in immagine hanno difficoltà con il controllo spaziale: chiedi "un gatto alla sinistra di un cane" e spesso sbagli il posizionamento. GLIGEN, introdotto nel 2023, risolve questo problema aggiungendo input di base come riquadri di delimitazione abbinati a entità di testo o immagine, punti chiave o immagini di riferimento. Fondamentalmente, congela i pesi del modello di diffusione preaddestrato originale e inietta nuovi strati di auto-attenzione addestrabili e recintati che assorbono i token di radicamento. Ciò significa che si basa su un modello come Stable Diffusion senza distruggere la conoscenza appresa e il gating inizia vicino allo zero in modo che il comportamento del modello base venga preservato nelle prime fasi dell'addestramento. Il risultato è una generazione radicata in un mondo aperto: è possibile posizionare oggetti descritti arbitrariamente in posizioni specifiche e si generalizza a concetti e layout non visti durante l'addestramento sul radicamento.
Posizionamento di un logo o di un prodotto in una regione esatta di una pubblicità generata utilizzando un riquadro di delimitazione
Comporre scene complesse specificando dove deve trovarsi ciascun personaggio o oggetto prima del rendering
Generazione di dati di addestramento per il rilevamento di oggetti con posizioni note di ground-truth box
Re-dipingere un oggetto descritto in un'area disegnata dall'utente di una foto esistente
La generazione con messa a terra e controllabile dal layout sta diventando standard negli strumenti di produzione. Aspettatevi che il condizionamento spaziale in stile GLIGEN si fonda con altri metodi di controllo come ControlNet e la guida regionale e si estenda al video e al 3D, dove il posizionamento degli oggetti nel tempo e nello spazio conta ancora di più. Poiché i modelli adottano interfacce che seguono le istruzioni, il controllo del layout drag-and-drop e i grafici delle scene specificati nella lingua renderanno accessibile una composizione precisa senza trucchi di ingegneria rapida.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
GLIGEN (Grounded-Language-to-Image Generation) ti consente di controllare esattamente dove appaiono gli oggetti in un'immagine generata inserendo riquadri ed etichette di delimitazione del modello insieme al prompt di testo. Trasforma il vago testo in immagine in una sintesi precisa e controllabile dal layout.
GLIGEN aggiunge input di messa a terra come riquadri di delimitazione in modo da poter controllare esattamente dove sono posizionati gli oggetti, che i suggerimenti di testo semplice gestiscono male.
GLIGEN congela il modello base e inietta nuovi strati di autoattenzione, in modo che la conoscenza originale appresa rimanga intatta.
GLIGEN supporta la messa a terra tramite riquadri di delimitazione con entità di testo/immagine, punti chiave e immagini di riferimento.
Un gate con inizializzazione zero significa che inizialmente la messa a terra non ha alcun effetto, preservando il modello originale e mantenendo stabile l'addestramento man mano che il controllo aumenta.
GLIGEN generalizza oltre il suo insieme di formazione di base, posizionando nuovi oggetti descritti in posizioni specifiche.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Generazione da testo a 3D
IA visiva