GUIDA AI visiva

Rendering del testo in immagini generate dall'intelligenza artificiale

I generatori di immagini AI erano soliti produrre testo confuso perché i loro codificatori di testo, come CLIP, trasformano i prompt in token di sottoparole che catturano il significato generale ma non l'ortografia lettera per lettera, lasciando il modello di immagine senza segnali precisi sulla forma delle lettere.

Ascolta questa guidaNarrato dall'IA · ~3 min

In questa pagina4 minuti di lettura
  1. Panoramica
  2. Immersione profonda
  3. Implementazione nel mondo reale
  4. Il futuro del rendering del testo nelle immagini generate dall'intelligenza artificiale
  5. Metterlo in pratica
  6. Continua a esplorare
  7. Domande frequenti

Panoramica

I caratteri leggibili sono arrivati ​​attraverso codificatori di testo basati su modelli linguistici più grandi, codificatori sensibili ai caratteri, dati di addestramento incentrati sul testo e nuove architetture. Questo è importante per chiunque crei poster, loghi, meme o modelli di packaging.

Immersione profonda

La scrittura è un bersaglio implacabile. Una faccia può essere leggermente diversa e comunque letta come una faccia, ma un tratto sbagliato trasforma una "e" in una "c". I primi modelli di diffusione hanno imparato che le insegne dei negozi, le copertine dei libri e le magliette contengono scritte, quindi hanno prodotto forme con il ritmo del testo sbagliando le lettere reali. Il codificatore di testo è stata una delle cause principali. Stable Diffusion 1.x utilizzava il codificatore di testo CLIP di OpenAI, addestrato per abbinare intere didascalie alle immagini. CLIP divide le parole in token di sottoparole, quindi una parola come "panetteria" può diventare un singolo token e il modello di immagine riceve una rappresentazione del significato piuttosto che una sequenza di lettere. Niente in quel segnale dice "b, poi a, poi k". La ricerca Imagen di Google nel 2022 ha scoperto che un grande codificatore del modello linguistico T5 congelato ha migliorato il prompt follow e i suoi campioni hanno reso il testo notevolmente migliore. Uno studio Google successivo su modelli basati sui caratteri ha mostrato che i codificatori a livello di byte come ByT5, che vedono i singoli caratteri, si scrivono molto meglio. Anche la risoluzione contava. Le lettere minuscole occupano pochissime cellule in un ambiente compresso, quindi i tratti sottili si confondono. I dati di allenamento erano un altro limite. Le didascalie raramente scrivevano il testo visibile in un'immagine, quindi il modello non poteva collegare le parole alle forme delle lettere. I progressi sono arrivati ​​da diverse direzioni. DeepFloyd IF e Stable Diffusion 3 hanno accoppiato i loro modelli di immagine con encoder T5. Sistemi di ricerca come TextDiffuser e GlyphControl hanno fornito al modello layout espliciti o immagini di lettere pre-renderizzate da seguire. Prodotti tra cui Ideogram, DALL-E 3 e successivi generatori di immagini autoregressive hanno reso la routine del testo leggibile, aiutata da didascalie di addestramento che includono le parole mostrate nell'immagine. Un malinteso è che i modelli moderni leggano le lettere da un file di font. Generano ancora lettere come pixel, motivo per cui passaggi lunghi, parole rare e caratteri piccoli continuano a funzionare male.

Implementazione nel mondo reale

An early Stable Diffusion prompt for a bakery sign reading 'Fresh Bread' returns letter-like squiggles such as 'FRESSH BRAED', because the model knows signs carry text but not how to spell it.

A marketer using a newer model keeps a poster headline to three short words in quotation marks and gets correct spelling within the first few tries.

A designer generates an illustration with no text, then adds the real lettering in a layout program so the font, spacing and spelling are exact.

A user fixes one misspelled word on a generated storefront by masking that area and inpainting it with the correct word.

Il futuro del rendering del testo nelle immagini generate dall'intelligenza artificiale

Leading models now handle short headlines and signs reliably, and the harder problems have moved to longer passages, multilingual scripts, consistent fonts across a series and accurate text in video. Scripts with thousands of characters, such as Chinese, or with complex letter joining, such as Arabic, have historically lagged behind English, and progress depends on training data in those languages. Legible generated text also raises misuse concerns, because realistic fake documents, receipts and screenshots become easier to make. That makes watermarking and provenance labeling more important.

Metterlo in pratica

Perché è importante

  • Velocità e scala. L’intelligenza artificiale visiva può automatizzare le attività di ispezione, rilevamento ed etichettatura su larga scala.
  • Scelte di build. I team creativi possono prototipare i concetti più velocemente con meno revisioni manuali.
  • Team e flusso di lavoro. Le operazioni possono utilizzare segnali immagine e video che in precedenza erano difficili da elaborare.

Attenzione

  • I diritti di immagine e il consenso possono diventare rischi legali se la provenienza non è chiara.
  • Le prestazioni del modello possono variare in base all'illuminazione, ai dati demografici e agli ambienti.
  • I falsi positivi possono passare inosservati a meno che non vengano monitorate le soglie di confidenza.

Prossimi passi

  1. Definire i criteri di accettazione per i costi di precisione, richiamo ed errore.
  2. Testare con dati che corrispondono alle reali condizioni di produzione.
  3. Aggiungi la revisione umana per previsioni poco attendibili o ad alto impatto.
  4. Tieni traccia della deriva del modello e riconvalida dopo le modifiche alla fotocamera o al set di dati.

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Take the Text Rendering in AI-Generated Images quiz

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

What is Text Rendering in AI-Generated Images?

I generatori di immagini AI erano soliti produrre testo confuso perché i loro codificatori di testo, come CLIP, trasformano i prompt in token di sottoparole che catturano il significato generale ma non l'ortografia lettera per lettera, lasciando il modello di immagine senza segnali precisi sulla forma delle lettere. I caratteri leggibili sono arrivati ​​attraverso codificatori di testo basati su modelli linguistici più grandi, codificatori sensibili ai caratteri, dati di addestramento incentrati sul testo e nuove architetture. Questo è importante per chiunque crei poster, loghi, meme o modelli di packaging.

Why did CLIP-based image models struggle to spell words correctly?

A word like 'bakery' can become one token, so the image model gets its meaning but no information about its individual letters.

Which kind of encoder did Google's character-aware study find spells better?

Byte-level encoders expose every character, giving the image model the letter-by-letter information that subword tokens hide.

Why is a small error tolerable in a generated face but not in generated text?

Letters are defined by precise shapes, so a tiny change, such as turning an 'e' into a 'c', breaks the word.

What limitation in training data made it hard to link words to letter shapes?

If a caption never says what a sign reads, the model has no way to connect those words to the letters it sees.

What did research systems such as TextDiffuser and GlyphControl add to image generation?

They supplied spatial guidance about where each character goes and what it looks like, and the model followed that guidance while generating.