Vizuální průvodce AI

Vykreslování textu v obrázcích generovaných AI

Generátory obrázků AI produkovaly zkomolený text, protože jejich textové kodéry, jako je CLIP, přeměňují výzvy na tokeny podslov, které zachycují celkový význam, ale ne pravopis písmena po písmenu, takže obrazový model nemá žádný přesný signál o tvarech písmen.

Poslechněte si tento návodAI-vyprávěný · ~3 min

Na této stránce4 min čtení
  1. Přehled
  2. Hluboký ponor
  3. Real-World Implementace
  4. Budoucnost vykreslování textu v obrázcích generovaných umělou inteligencí
  5. Uvedení do praxe
  6. Pokračujte v objevování
  7. Často kladené otázky

Přehled

Čitelné písmo dorazilo prostřednictvím větších textových kodérů jazykového modelu, kodérů s ohledem na znaky, trénovacích dat zaměřených na text a nových architektur. To je důležité pro každého, kdo vytváří plakáty, loga, memy nebo makety obalů.

Hluboký ponor

Psaní je neúprosný cíl. Obličej může být mírně mimo a stále se čte jako obličej, ale jeden špatný tah změní 'e' na 'c'. První modely šíření zjistily, že nápisy na prodejnách, obaly knih a trička obsahují nápisy, takže vytvářely tvary s rytmem textu, zatímco skutečná písmena se pletla. Hlavní příčinou byl kodér textu. Stable Diffusion 1.x používal textový kodér CLIP OpenAI, který byl trénován tak, aby přiřazoval celé popisky k obrázkům. CLIP rozděluje slova na tokeny podslov, takže slovo jako 'pekárna' se může stát jediným tokenem a obrazový model obdrží reprezentaci významu spíše než posloupnost písmen. Nic v tom signálu neříká „b, pak a, pak k“. Výzkum Imagen společnosti Imagen v roce 2022 zjistil, že velký zmrazený kodér jazykového modelu T5 zlepšil rychlé sledování a jeho vzorky vykreslovaly text znatelně lépe. Následná studie Google na modelech s vědomím znaků ukázala, že kodéry na úrovni bajtů, jako je ByT5, které vidí jednotlivé znaky, hláskují mnohem lépe. Na rozlišení také záleželo. Malá písmena zabírají velmi málo buněk ve stlačeném latentu, takže jemné tahy se rozmazávají. Dalším limitem byla tréninková data. Titulky zřídka přepisovaly text viditelný na obrázku, takže model nemohl spojovat slova s ​​tvary písmen. Pokrok přišel z několika směrů. DeepFloyd IF a Stable Diffusion 3 spárovaly své obrazové modely s kodéry T5. Výzkumné systémy, jako jsou TextDiffuser a GlyphControl, poskytly modelu explicitní rozvržení nebo předem vykreslené obrázky písmen, které lze následovat. Produkty včetně Ideogramu, DALL-E 3 a pozdějších autoregresivních generátorů obrázků vytvořily čitelnou textovou rutinu, k čemuž přispělo školení titulků, které obsahují slova zobrazená na obrázku. Jedna mylná představa je, že moderní modely čtou písmena ze souboru písem. Stále generují písmena jako pixely, což je důvod, proč se dlouhé pasáže, vzácná slova a malé písmo stále pokazí.

Real-World Implementace

První výzva Stable Diffusion pro nápis pekárny s nápisem „Čerstvý chléb“ vrací klikyháky podobné písmenům, jako je „FRESH BRAED“, protože model ví, že nápisy nesou text, ale neví, jak se to píše.

Obchodník používající novější model zachová nadpis plakátu na tři krátká slova v uvozovkách a během prvních několika pokusů získá správný pravopis.

Návrhář vygeneruje ilustraci bez textu a poté přidá skutečné písmo v programu pro rozvržení, takže písmo, mezery a pravopis jsou přesné.

Uživatel opraví jedno chybně napsané slovo na vygenerované výloze tím, že tuto oblast zamaskuje a vymaluje ji správným slovem.

Budoucnost vykreslování textu v obrázcích generovaných umělou inteligencí

Přední modely nyní spolehlivě zvládají krátké nadpisy a nápisy a těžší problémy se přesunuly do delších pasáží, vícejazyčných skriptů, konzistentních písem v řadě a přesného textu ve videu. Skripty s tisíci znaky, jako je čínština, nebo se složitým spojováním písmen, jako je arabština, historicky zaostávaly za angličtinou a pokrok závisí na trénovacích datech v těchto jazycích. Čitelný generovaný text také vyvolává obavy ze zneužití, protože realistické falešné dokumenty, účtenky a snímky obrazovky se snáze vyrábějí. Díky tomu je vodoznak a označení původu důležitější.

Uvedení do praxe

Proč na tom záleží

  • Rychlost a měřítko. Vizuální AI může automatizovat úkoly inspekce, detekce a označování ve velkém měřítku.
  • Volby sestavy. Kreativní týmy mohou prototypovat koncepty rychleji s menším počtem ručních revizí.
  • Tým a pracovní postup. Operace mohou využívat obrazové a video signály, které bylo dříve obtížné zpracovat.

Pozor na

  • Obrazová práva a souhlas se mohou stát právním rizikem, pokud je původ nejasný.
  • Výkon modelu se může lišit podle osvětlení, demografických údajů a prostředí.
  • Falešně pozitivní mohou zůstat bez povšimnutí, pokud nejsou monitorovány prahové hodnoty spolehlivosti.

Další kroky

  1. Definujte kritéria přijatelnosti pro přesnost, stažení a náklady na chyby.
  2. Testujte s daty, která odpovídají reálným výrobním podmínkám.
  3. Přidejte lidskou kontrolu pro předpovědi s nízkou spolehlivostí nebo velkým dopadem.
  4. Sledujte posun modelu a znovu ověřte po změnách kamery nebo datové sady.

Pokračujte v objevování

Newsletter zdarma

Získejte denní přehled o AI

Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.

Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.

Otestujte se

Take the Text Rendering in AI-Generated Images quiz

Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.

Spustit kvíz

Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte

Často kladené otázky

Co je vykreslování textu v obrázcích generovaných umělou inteligencí?

Generátory obrázků AI produkovaly zkomolený text, protože jejich textové kodéry, jako je CLIP, přeměňují výzvy na tokeny podslov, které zachycují celkový význam, ale ne pravopis písmena po písmenu, takže obrazový model nemá žádný přesný signál o tvarech písmen. Čitelné písmo dorazilo prostřednictvím větších textových kodérů jazykového modelu, kodérů s ohledem na znaky, trénovacích dat zaměřených na text a nových architektur. To je důležité pro každého, kdo vytváří plakáty, loga, memy nebo makety obalů.

Proč se obrazové modely založené na CLIP potýkaly se správným hláskováním slov?

Slovo jako 'pekárna' se může stát jedním žetonem, takže obrazový model dostane svůj význam, ale žádné informace o jeho jednotlivých písmenech.

Jaký typ kodéru zjistila studie Google zaměřená na postavy lépe kouzla?

Kodéry na úrovni bajtů odhalují každý znak a poskytují obrazovému modelu informace po písmenech, které skrývají tokeny podslov.

Proč je tolerovatelná malá chyba ve vygenerované ploše, ale ne ve vygenerovaném textu?

Písmena jsou definována přesnými tvary, takže malá změna, jako je přeměna „e“ na „c“, slovo poruší.

Jaké omezení v trénovacích datech znesnadnilo spojování slov s tvary písmen?

Pokud popisek nikdy neříká, co znak čte, model nemá žádný způsob, jak tato slova spojit s písmeny, která vidí.

Co přinesly výzkumné systémy jako TextDiffuser a GlyphControl ke generování obrázků?

Poskytli prostorové navádění o tom, kam každá postava jde a jak vypadá, a model se podle tohoto navádění při generování řídil.