DalšíDalší průvodce
Imagen Převod textu na obrázek
Vizuální AI
Vizuální průvodce AI
Generátory obrázků AI produkovaly zkomolený text, protože jejich textové kodéry, jako je CLIP, přeměňují výzvy na tokeny podslov, které zachycují celkový význam, ale ne pravopis písmena po písmenu, takže obrazový model nemá žádný přesný signál o tvarech písmen.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Čitelné písmo dorazilo prostřednictvím větších textových kodérů jazykového modelu, kodérů s ohledem na znaky, trénovacích dat zaměřených na text a nových architektur. To je důležité pro každého, kdo vytváří plakáty, loga, memy nebo makety obalů.
Psaní je neúprosný cíl. Obličej může být mírně mimo a stále se čte jako obličej, ale jeden špatný tah změní 'e' na 'c'. První modely šíření zjistily, že nápisy na prodejnách, obaly knih a trička obsahují nápisy, takže vytvářely tvary s rytmem textu, zatímco skutečná písmena se pletla. Hlavní příčinou byl kodér textu. Stable Diffusion 1.x používal textový kodér CLIP OpenAI, který byl trénován tak, aby přiřazoval celé popisky k obrázkům. CLIP rozděluje slova na tokeny podslov, takže slovo jako 'pekárna' se může stát jediným tokenem a obrazový model obdrží reprezentaci významu spíše než posloupnost písmen. Nic v tom signálu neříká „b, pak a, pak k“. Výzkum Imagen společnosti Imagen v roce 2022 zjistil, že velký zmrazený kodér jazykového modelu T5 zlepšil rychlé sledování a jeho vzorky vykreslovaly text znatelně lépe. Následná studie Google na modelech s vědomím znaků ukázala, že kodéry na úrovni bajtů, jako je ByT5, které vidí jednotlivé znaky, hláskují mnohem lépe. Na rozlišení také záleželo. Malá písmena zabírají velmi málo buněk ve stlačeném latentu, takže jemné tahy se rozmazávají. Dalším limitem byla tréninková data. Titulky zřídka přepisovaly text viditelný na obrázku, takže model nemohl spojovat slova s tvary písmen. Pokrok přišel z několika směrů. DeepFloyd IF a Stable Diffusion 3 spárovaly své obrazové modely s kodéry T5. Výzkumné systémy, jako jsou TextDiffuser a GlyphControl, poskytly modelu explicitní rozvržení nebo předem vykreslené obrázky písmen, které lze následovat. Produkty včetně Ideogramu, DALL-E 3 a pozdějších autoregresivních generátorů obrázků vytvořily čitelnou textovou rutinu, k čemuž přispělo školení titulků, které obsahují slova zobrazená na obrázku. Jedna mylná představa je, že moderní modely čtou písmena ze souboru písem. Stále generují písmena jako pixely, což je důvod, proč se dlouhé pasáže, vzácná slova a malé písmo stále pokazí.
První výzva Stable Diffusion pro nápis pekárny s nápisem „Čerstvý chléb“ vrací klikyháky podobné písmenům, jako je „FRESH BRAED“, protože model ví, že nápisy nesou text, ale neví, jak se to píše.
Obchodník používající novější model zachová nadpis plakátu na tři krátká slova v uvozovkách a během prvních několika pokusů získá správný pravopis.
Návrhář vygeneruje ilustraci bez textu a poté přidá skutečné písmo v programu pro rozvržení, takže písmo, mezery a pravopis jsou přesné.
Uživatel opraví jedno chybně napsané slovo na vygenerované výloze tím, že tuto oblast zamaskuje a vymaluje ji správným slovem.
Přední modely nyní spolehlivě zvládají krátké nadpisy a nápisy a těžší problémy se přesunuly do delších pasáží, vícejazyčných skriptů, konzistentních písem v řadě a přesného textu ve videu. Skripty s tisíci znaky, jako je čínština, nebo se složitým spojováním písmen, jako je arabština, historicky zaostávaly za angličtinou a pokrok závisí na trénovacích datech v těchto jazycích. Čitelný generovaný text také vyvolává obavy ze zneužití, protože realistické falešné dokumenty, účtenky a snímky obrazovky se snáze vyrábějí. Díky tomu je vodoznak a označení původu důležitější.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Generátory obrázků AI produkovaly zkomolený text, protože jejich textové kodéry, jako je CLIP, přeměňují výzvy na tokeny podslov, které zachycují celkový význam, ale ne pravopis písmena po písmenu, takže obrazový model nemá žádný přesný signál o tvarech písmen. Čitelné písmo dorazilo prostřednictvím větších textových kodérů jazykového modelu, kodérů s ohledem na znaky, trénovacích dat zaměřených na text a nových architektur. To je důležité pro každého, kdo vytváří plakáty, loga, memy nebo makety obalů.
Slovo jako 'pekárna' se může stát jedním žetonem, takže obrazový model dostane svůj význam, ale žádné informace o jeho jednotlivých písmenech.
Kodéry na úrovni bajtů odhalují každý znak a poskytují obrazovému modelu informace po písmenech, které skrývají tokeny podslov.
Písmena jsou definována přesnými tvary, takže malá změna, jako je přeměna „e“ na „c“, slovo poruší.
Pokud popisek nikdy neříká, co znak čte, model nemá žádný způsob, jak tato slova spojit s písmeny, která vidí.
Poskytli prostorové navádění o tom, kam každá postava jde a jak vypadá, a model se podle tohoto navádění při generování řídil.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Imagen Převod textu na obrázek
Vizuální AI