Il prossimoProssima guida
Generatori di immagini AI in classe d'arte
IA visiva
GUIDA AI visiva
I generatori di immagini basati sull'IA sbagliano le mani perché sono piccole, estremamente flessibili, spesso parzialmente nascoste e raramente descritte nelle didascalie.
Ascolta questa guidaNarrato dall'IA · ~3 min
I modelli imparano l'aspetto superficiale delle mani senza apprenderne in modo affidabile la struttura, come le cinque dita per mano. Gli errori nelle mani sono diventati un segno distintivo delle immagini sintetiche, e comprenderne le cause spiega sia come i modelli più recenti siano migliorati, sia perché contare le dita non sia più un metodo affidabile per individuare i falsi.
Diffusion models learn from billions of image-caption pairs by learning to reverse added noise. They become very good at local visual patterns: skin texture, lighting, the general look of a hand. What they never receive is an explicit rule that a hand has five fingers joined to a palm in a particular order. Several factors make hands hard. Hands take up a small part of most photos, so they get few pixels. Latent diffusion models such as Stable Diffusion also shrink images by a factor of eight in each dimension before generating, which can leave a hand only a handful of latent cells. Hands take an enormous range of poses, grip objects, overlap each other and are often partly hidden, so the training data is full of incomplete views. Fingers look alike, so a model producing 'finger, finger, finger' has no strong signal telling it when to stop. Captions almost never mention hands, let alone their pose, so the prompt offers little guidance. The result is a set of familiar errors: extra or missing fingers, fused digits, thumbs on the wrong side, and hands melting into objects or other people. Teeth, ears and jewelry go wrong for similar reasons. Newer systems have reduced these failures. Larger models, higher training resolutions, better filtered and captioned data, transformer-based architectures and fine-tuning on human preference ratings all helped. Midjourney's version 5 in 2023 was widely noted for better hands, and later models from several labs improved further. Errors have not disappeared, though, especially in complex poses, crowds and hands holding things. A common misconception is that the model 'cannot count'. It is more accurate to say it learns appearance statistically, and correct structure emerges only when the data and model capacity are sufficient.
Un primo ritratto Stable Diffusion mostra qualcuno che tiene una tazza di caffè con sei dita avvolte attorno ad essa, un errore tipico quando un modello fonde molte pose di presa sovrapposte.
Una scena di gruppo generata da un modello più vecchio fonde le mani di due persone nel punto in cui si toccano, perché il modello non ha un'idea precisa di dove finisca un corpo e ne inizi un altro.
Un artista fornisce a ControlNet una mappa OpenPose o di profondità creata da una foto della propria mano per forzare una posa corretta, per poi correggere eventuali errori rimanenti tramite inpainting.
Un fact-checker nota che un presunto falso ha mani perfettamente normali, a ricordare che i generatori più recenti spesso disegnano le mani correttamente e che sono necessari altri indizi.
Gli errori nelle mani probabilmente continueranno a diminuire man mano che i modelli crescono e i dati di addestramento migliorano, ma le pose insolite, le mani intrecciate e le mani che manipolano oggetti rimangono più difficili di un semplice palmo aperto. La generazione video aggiunge una nuova versione del problema, perché le dita devono rimanere coerenti da un fotogramma all'altro. Per chiunque giudichi l'autenticità, il controllo delle mani è un segnale debole. Una mano deforme suggerisce ancora che un'immagine sia stata generata, ma una mano corretta non prova nulla. I registri di provenienza e le filigrane sono più affidabili del controllo dell'anatomia.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
I generatori di immagini basati sull'IA sbagliano le mani perché sono piccole, estremamente flessibili, spesso parzialmente nascoste e raramente descritte nelle didascalie. I modelli imparano l'aspetto superficiale delle mani senza apprenderne in modo affidabile la struttura, come le cinque dita per mano. Gli errori nelle mani sono diventati un segno distintivo delle immagini sintetiche, e comprenderne le cause spiega sia come i modelli più recenti siano migliorati, sia perché contare le dita non sia più un metodo affidabile per individuare i falsi.
I modelli imparano statisticamente l'aspetto delle cose. Nulla nell'addestramento fornisce loro una regola esplicita che una mano ha cinque dita.
Una mano piccola che si restringe di otto volte in ogni dimensione finisce per avere pochissimo spazio per rappresentare cinque dita distinte.
Senza testo che descriva le pose delle mani, il modello non può collegare le parole del prompt alla struttura della mano.
La versione 5 di Midjourney, rilasciata nel 2023, è stata ampiamente notata per il miglioramento delle mani, parte di una tendenza più ampia di scalabilità e dati migliori.
Ingrandire il ritaglio fornisce alla mano molte più celle latenti durante la rigenerazione, il che ne migliora la struttura.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Generatori di immagini AI in classe d'arte
IA visiva