A continuaciónSiguiente guía
Imagen Texto a imagen
IA visual
GUÍA visual de IA
Representación de texto en imágenes generadas por IA
Los generadores de imágenes de IA solían producir texto confuso porque sus codificadores de texto, como CLIP, convierten las indicaciones en tokens de subpalabras que capturan el significado general pero no la ortografía letra por letra, lo que dejaba al modelo de imagen sin una señal precisa sobre las formas de las letras.
Escuche esta guíaNarrado por IA · ~3 min
En esta pagina4 minutos de lectura
Descripción general
Las letras legibles llegaron a través de codificadores de texto con modelos de lenguaje más grandes, codificadores con reconocimiento de caracteres, datos de entrenamiento centrados en texto y nuevas arquitecturas. Eso es importante para cualquiera que haga carteles, logotipos, memes o maquetas de envases.
Buceo profundo
La escritura es un objetivo implacable. Una cara puede estar ligeramente desviada y aun así leerse como una cara, pero un trazo incorrecto convierte una 'e' en una 'c'. Los primeros modelos de difusión aprendieron que los letreros de las tiendas, las portadas de los libros y las camisetas contienen letras, por lo que produjeron formas con el ritmo del texto, aunque se equivocaron con las letras reales. El codificador de texto fue una de las principales causas. Stable Diffusion 1.x utilizó el codificador de texto CLIP de OpenAI, que fue entrenado para hacer coincidir títulos completos con imágenes. CLIP divide las palabras en tokens de subpalabras, por lo que una palabra como "panadería" puede convertirse en un token único, y el modelo de imagen recibe una representación del significado en lugar de una secuencia de letras. Nada en esa señal dice 'b, luego a, luego k'. La investigación Imagen de Google en 2022 encontró que un codificador de modelo de lenguaje T5 congelado de gran tamaño mejoró el seguimiento de mensajes y sus muestras representaron el texto notablemente mejor. Un estudio de seguimiento Google sobre modelos con reconocimiento de caracteres mostró que los codificadores a nivel de bytes como ByT5, que ven caracteres individuales, escriben mucho mejor. La resolución también importaba. Las letras minúsculas ocupan muy pocas celdas en una escritura latente comprimida, por lo que los trazos finos se desdibujan. Los datos de entrenamiento fueron otro límite. Los subtítulos rara vez escribían el texto visible en una imagen, por lo que el modelo no podía vincular palabras con formas de letras. El progreso provino de varias direcciones. DeepFloyd IF y Stable Diffusion 3 combinaron sus modelos de imagen con codificadores T5. Los sistemas de investigación como TextDiffuser y GlyphControl le dieron al modelo diseños explícitos o imágenes de letras pre-renderizadas a seguir. Productos como Ideogram, DALL-E 3 y generadores de imágenes autorregresivos posteriores hicieron una rutina de texto legible, con la ayuda de leyendas de entrenamiento que incluyen las palabras que se muestran en la imagen. Una idea errónea es que los modelos modernos leen letras de un archivo de fuentes. Todavía generan letras como píxeles, razón por la cual los pasajes largos, las palabras raras y la letra pequeña siguen fallando.
Implementación en el mundo real
Una de las primeras indicaciones de Stable Diffusion para un letrero de panadería que dice "Pan fresco" devuelve garabatos en forma de letras como "FRESSH BRAED", porque el modelo sabe que los letreros contienen texto pero no cómo deletrearlo.
Un especialista en marketing que utiliza un modelo más nuevo mantiene el título de un cartel con tres palabras cortas entre comillas y obtiene la ortografía correcta en los primeros intentos.
Un diseñador genera una ilustración sin texto y luego agrega las letras reales en un programa de diseño para que la fuente, el espaciado y la ortografía sean exactos.
Un usuario corrige una palabra mal escrita en un escaparate generado enmascarando esa área y pintándola con la palabra correcta.
El futuro de la representación de texto en imágenes generadas por IA
Los modelos líderes ahora manejan titulares y letreros cortos de manera confiable, y los problemas más difíciles se han trasladado a pasajes más largos, escrituras multilingües, fuentes consistentes en una serie y texto preciso en video. Las escrituras con miles de caracteres, como el chino, o con unión de letras compleja, como el árabe, históricamente han quedado rezagadas con respecto al inglés, y el progreso depende de los datos de entrenamiento en esos idiomas. El texto generado legible también plantea preocupaciones sobre el uso indebido, porque resulta más fácil crear documentos, recibos y capturas de pantalla falsos y realistas. Eso hace que las marcas de agua y el etiquetado de procedencia sean más importantes.
Poniéndolo en práctica
Por qué es importante
- Velocidad y escala. La IA visual puede automatizar tareas de inspección, detección y etiquetado a escala.
- Construir opciones. Los equipos creativos pueden crear prototipos de conceptos más rápido y con menos revisiones manuales.
- Equipo y flujo de trabajo. Las operaciones pueden utilizar señales de imagen y vídeo que antes eran difíciles de procesar.
cuidado con
- Los derechos de imagen y el consentimiento pueden convertirse en riesgos legales si la procedencia no está clara.
- El rendimiento del modelo puede variar según la iluminación, la demografía y los entornos.
- Los falsos positivos pueden pasar desapercibidos a menos que se controlen los umbrales de confianza.
Próximos pasos
- Defina criterios de aceptación para costos de precisión, recuperación y error.
- Pruebe con datos que coincidan con las condiciones reales de producción.
- Agregue revisión humana para predicciones de baja confianza o de alto impacto.
- Realice un seguimiento de la deriva del modelo y vuelva a validarlo después de cambios en la cámara o el conjunto de datos.
Sigue explorando
Boletín gratuito
Recibe el resumen diario de IA
Tres noticias verificadas sobre IA cada mañana de lunes a viernes, explicadas con claridad. Gratis para siempre y sin anuncios.
Un correo cada día laborable. Date de baja con un clic. Nunca vendemos ni compartimos tu dirección.
Ponte a prueba
Take the Text Rendering in AI-Generated Images quiz
Corrección inmediata en cada respuesta y un certificado para compartir, con un ID verificable, cuando apruebas un curso.
Apoya la educación gratuita sobre IA. AI Understanding es una organización sin fines de lucro 501(c)(3): sin anuncios ni muros de pago, nunca. Hacer una donación
Preguntas frecuentes
¿Qué es la representación de texto en imágenes generadas por IA?
Los generadores de imágenes de IA solían producir texto confuso porque sus codificadores de texto, como CLIP, convierten las indicaciones en tokens de subpalabras que capturan el significado general pero no la ortografía letra por letra, lo que dejaba al modelo de imagen sin una señal precisa sobre las formas de las letras. Las letras legibles llegaron a través de codificadores de texto con modelos de lenguaje más grandes, codificadores con reconocimiento de caracteres, datos de entrenamiento centrados en texto y nuevas arquitecturas. Eso es importante para cualquiera que haga carteles, logotipos, memes o maquetas de envases.
¿Por qué los modelos de imágenes basados en CLIP tenían dificultades para deletrear las palabras correctamente?
Una palabra como "panadería" puede convertirse en un token, por lo que el modelo de imagen obtiene su significado pero no información sobre sus letras individuales.
¿Qué tipo de codificador encontró mejores hechizos el estudio de reconocimiento de caracteres de Google?
Los codificadores a nivel de bytes exponen cada carácter, dándole al modelo de imagen la información letra por letra que ocultan los tokens de subpalabra.
¿Por qué es tolerable un pequeño error en una cara generada pero no en el texto generado?
Las letras se definen mediante formas precisas, por lo que un pequeño cambio, como convertir una 'e' en una 'c', rompe la palabra.
¿Qué limitación en los datos de entrenamiento dificultó la vinculación de palabras con formas de letras?
Si un título nunca dice lo que dice un letrero, el modelo no tiene forma de conectar esas palabras con las letras que ve.
¿Qué aportaron los sistemas de investigación como TextDiffuser y GlyphControl a la generación de imágenes?
Proporcionaron orientación espacial sobre dónde va cada personaje y cómo se ve, y el modelo siguió esa orientación mientras generaba.
sigue aprendiendo
Guías relacionadas
Más guías seleccionadas para este tema.