Il prossimoProssima guida
Immagine da testo a immagine
IA visiva
GUIDA AI visiva
I generatori di immagini AI erano soliti produrre testo confuso perché i loro codificatori di testo, come CLIP, trasformano i prompt in token di sottoparole che catturano il significato generale ma non l'ortografia lettera per lettera, lasciando il modello di immagine senza segnali precisi sulla forma delle lettere.
Ascolta questa guidaNarrato dall'IA · ~3 min
I caratteri leggibili sono arrivati attraverso codificatori di testo basati su modelli linguistici più grandi, codificatori sensibili ai caratteri, dati di addestramento incentrati sul testo e nuove architetture. Questo è importante per chiunque crei poster, loghi, meme o modelli di packaging.
La scrittura è un bersaglio implacabile. Una faccia può essere leggermente diversa e comunque letta come una faccia, ma un tratto sbagliato trasforma una "e" in una "c". I primi modelli di diffusione hanno imparato che le insegne dei negozi, le copertine dei libri e le magliette contengono scritte, quindi hanno prodotto forme con il ritmo del testo sbagliando le lettere reali. Il codificatore di testo è stata una delle cause principali. Stable Diffusion 1.x utilizzava il codificatore di testo CLIP di OpenAI, addestrato per abbinare intere didascalie alle immagini. CLIP divide le parole in token di sottoparole, quindi una parola come "panetteria" può diventare un singolo token e il modello di immagine riceve una rappresentazione del significato piuttosto che una sequenza di lettere. Niente in quel segnale dice "b, poi a, poi k". La ricerca Imagen di Google nel 2022 ha scoperto che un grande codificatore del modello linguistico T5 congelato ha migliorato il prompt follow e i suoi campioni hanno reso il testo notevolmente migliore. Uno studio Google successivo su modelli basati sui caratteri ha mostrato che i codificatori a livello di byte come ByT5, che vedono i singoli caratteri, si scrivono molto meglio. Anche la risoluzione contava. Le lettere minuscole occupano pochissime cellule in un ambiente compresso, quindi i tratti sottili si confondono. I dati di allenamento erano un altro limite. Le didascalie raramente scrivevano il testo visibile in un'immagine, quindi il modello non poteva collegare le parole alle forme delle lettere. I progressi sono arrivati da diverse direzioni. DeepFloyd IF e Stable Diffusion 3 hanno accoppiato i loro modelli di immagine con encoder T5. Sistemi di ricerca come TextDiffuser e GlyphControl hanno fornito al modello layout espliciti o immagini di lettere pre-renderizzate da seguire. Prodotti tra cui Ideogram, DALL-E 3 e successivi generatori di immagini autoregressive hanno reso la routine del testo leggibile, aiutata da didascalie di addestramento che includono le parole mostrate nell'immagine. Un malinteso è che i modelli moderni leggano le lettere da un file di font. Generano ancora lettere come pixel, motivo per cui passaggi lunghi, parole rare e caratteri piccoli continuano a funzionare male.
An early Stable Diffusion prompt for a bakery sign reading 'Fresh Bread' returns letter-like squiggles such as 'FRESSH BRAED', because the model knows signs carry text but not how to spell it.
A marketer using a newer model keeps a poster headline to three short words in quotation marks and gets correct spelling within the first few tries.
A designer generates an illustration with no text, then adds the real lettering in a layout program so the font, spacing and spelling are exact.
A user fixes one misspelled word on a generated storefront by masking that area and inpainting it with the correct word.
Leading models now handle short headlines and signs reliably, and the harder problems have moved to longer passages, multilingual scripts, consistent fonts across a series and accurate text in video. Scripts with thousands of characters, such as Chinese, or with complex letter joining, such as Arabic, have historically lagged behind English, and progress depends on training data in those languages. Legible generated text also raises misuse concerns, because realistic fake documents, receipts and screenshots become easier to make. That makes watermarking and provenance labeling more important.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
I generatori di immagini AI erano soliti produrre testo confuso perché i loro codificatori di testo, come CLIP, trasformano i prompt in token di sottoparole che catturano il significato generale ma non l'ortografia lettera per lettera, lasciando il modello di immagine senza segnali precisi sulla forma delle lettere. I caratteri leggibili sono arrivati attraverso codificatori di testo basati su modelli linguistici più grandi, codificatori sensibili ai caratteri, dati di addestramento incentrati sul testo e nuove architetture. Questo è importante per chiunque crei poster, loghi, meme o modelli di packaging.
A word like 'bakery' can become one token, so the image model gets its meaning but no information about its individual letters.
Byte-level encoders expose every character, giving the image model the letter-by-letter information that subword tokens hide.
Letters are defined by precise shapes, so a tiny change, such as turning an 'e' into a 'c', breaks the word.
If a caption never says what a sign reads, the model has no way to connect those words to the letters it sees.
They supplied spatial guidance about where each character goes and what it looks like, and the model followed that guidance while generating.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Immagine da testo a immagine
IA visiva