A continuaciónSiguiente guía
Generadores de imágenes de IA en clase de arte
IA visual
GUÍA visual de IA
Por qué los generadores de imágenes de IA se equivocan
Los generadores de imágenes con IA fallan al dibujar manos porque estas son pequeñas, altamente flexibles, a menudo parcialmente ocultas y rara vez descritas en las leyendas.
Escuche esta guíaNarrado por IA · ~3 min
En esta pagina4 minutos de lectura
Descripción general
Los modelos aprenden cómo se ven las manos en la superficie sin aprender de forma fiable su estructura, como cinco dedos por mano. Los errores en las manos se convirtieron en una señal conocida de imágenes sintéticas, y comprender por qué ocurren explica tanto cómo mejoraron los modelos más nuevos como por qué contar los dedos ya no es una forma fiable de detectar falsificaciones.
Buceo profundo
Diffusion models learn from billions of image-caption pairs by learning to reverse added noise. They become very good at local visual patterns: skin texture, lighting, the general look of a hand. What they never receive is an explicit rule that a hand has five fingers joined to a palm in a particular order. Several factors make hands hard. Hands take up a small part of most photos, so they get few pixels. Latent diffusion models such as Stable Diffusion also shrink images by a factor of eight in each dimension before generating, which can leave a hand only a handful of latent cells. Hands take an enormous range of poses, grip objects, overlap each other and are often partly hidden, so the training data is full of incomplete views. Fingers look alike, so a model producing 'finger, finger, finger' has no strong signal telling it when to stop. Captions almost never mention hands, let alone their pose, so the prompt offers little guidance. The result is a set of familiar errors: extra or missing fingers, fused digits, thumbs on the wrong side, and hands melting into objects or other people. Teeth, ears and jewelry go wrong for similar reasons. Newer systems have reduced these failures. Larger models, higher training resolutions, better filtered and captioned data, transformer-based architectures and fine-tuning on human preference ratings all helped. Midjourney's version 5 in 2023 was widely noted for better hands, and later models from several labs improved further. Errors have not disappeared, though, especially in complex poses, crowds and hands holding things. A common misconception is that the model 'cannot count'. It is more accurate to say it learns appearance statistically, and correct structure emerges only when the data and model capacity are sufficient.
Implementación en el mundo real
Un retrato temprano de Stable Diffusion muestra a una persona sosteniendo una taza de café con seis dedos envueltos alrededor de ella, un fallo típico cuando un modelo combina muchas posturas de agarre superpuestas.
Una escena de grupo de un modelo más antiguo fusiona las manos de dos personas donde se tocan, porque el modelo no tiene una idea clara de dónde termina un cuerpo y comienza otro.
Una artista introduce un mapa de ControlNet OpenPose o de profundidad creado a partir de una foto de su propia mano para forzar una postura correcta y luego corrige los errores restantes mediante inpainting.
Un verificador de hechos señala que una supuesta falsificación tiene manos perfectamente normales, un recordatorio de que los generadores más nuevos a menudo dibujan las manos correctamente y se necesitan otras pistas.
El futuro de por qué los generadores de imágenes con IA fallan al dibujar manos
Es probable que los errores en las manos sigan reduciéndose a medida que los modelos crecen y los datos de entrenamiento mejoran, pero las posturas inusuales, las manos entrelazadas y las manos manipulando objetos siguen siendo más difíciles que una simple palma abierta. La generación de video añade una nueva versión del problema, porque los dedos deben mantenerse consistentes de un fotograma a otro. Para cualquiera que juzgue la autenticidad, las comprobaciones de manos son una señal débil. Una mano malformada aún sugiere que la imagen fue generada, pero una mano correcta no prueba nada. Los registros de procedencia y las marcas de agua son más fiables que comprobar la anatomía.
Poniéndolo en práctica
Por qué es importante
- Velocidad y escala. La IA visual puede automatizar tareas de inspección, detección y etiquetado a escala.
- Construir opciones. Los equipos creativos pueden crear prototipos de conceptos más rápido y con menos revisiones manuales.
- Equipo y flujo de trabajo. Las operaciones pueden utilizar señales de imagen y vídeo que antes eran difíciles de procesar.
cuidado con
- Los derechos de imagen y el consentimiento pueden convertirse en riesgos legales si la procedencia no está clara.
- El rendimiento del modelo puede variar según la iluminación, la demografía y los entornos.
- Los falsos positivos pueden pasar desapercibidos a menos que se controlen los umbrales de confianza.
Próximos pasos
- Defina criterios de aceptación para costos de precisión, recuperación y error.
- Pruebe con datos que coincidan con las condiciones reales de producción.
- Agregue revisión humana para predicciones de baja confianza o de alto impacto.
- Realice un seguimiento de la deriva del modelo y vuelva a validarlo después de cambios en la cámara o el conjunto de datos.
Sigue explorando
Boletín gratuito
Recibe el resumen diario de IA
Tres noticias verificadas sobre IA cada mañana de lunes a viernes, explicadas con claridad. Gratis para siempre y sin anuncios.
Un correo cada día laborable. Date de baja con un clic. Nunca vendemos ni compartimos tu dirección.
Ponte a prueba
Haz el cuestionario de por qué los generadores de imágenes con IA fallan al dibujar manos
Corrección inmediata en cada respuesta y un certificado para compartir, con un ID verificable, cuando apruebas un curso.
Apoya la educación gratuita sobre IA. AI Understanding es una organización sin fines de lucro 501(c)(3): sin anuncios ni muros de pago, nunca. Hacer una donación
Preguntas frecuentes
¿Qué es por qué los generadores de imágenes con IA fallan al dibujar manos?
Los generadores de imágenes con IA fallan al dibujar manos porque estas son pequeñas, altamente flexibles, a menudo parcialmente ocultas y rara vez descritas en las leyendas. Los modelos aprenden cómo se ven las manos en la superficie sin aprender de forma fiable su estructura, como cinco dedos por mano. Los errores en las manos se convirtieron en una señal conocida de imágenes sintéticas, y comprender por qué ocurren explica tanto cómo mejoraron los modelos más nuevos como por qué contar los dedos ya no es una forma fiable de detectar falsificaciones.
Según la guía, ¿qué aprende principalmente un modelo de difusión de los pares imagen-título?
Los modelos aprenden cómo se ven las cosas estadísticamente. Nada en el entrenamiento les da una regla explícita de que una mano tenga cinco dedos.
¿Cómo la compresión latente en Stable Diffusion hace que sea más difícil dibujar las manos?
Una mano pequeña que se encoge ocho veces en cada dimensión termina con muy poco espacio para representar cinco dedos distintos.
¿Por qué los subtítulos les dan poca ayuda a los modelos con las manos?
Sin un texto que describa las posturas de las manos, el modelo no puede vincular las palabras clave con la estructura de las manos.
¿Qué versión de Midjourney según la guía fue ampliamente conocida por tener mejores manos en 2023?
La versión 5 de Midjourney, lanzada en 2023, se destacó ampliamente por sus manos mejoradas, parte de una tendencia más amplia de escalamiento y mejores datos.
¿Qué hace un flujo de trabajo de detección y repintado estilo ADetailer?
Ampliar el buche le da a la mano muchas más células latentes durante la regeneración, lo que mejora su estructura.
sigue aprendiendo
Guías relacionadas
Más guías seleccionadas para este tema.