ДалееСледующее руководство
Преобразование текста в изображение
Визуальный ИИ
Визуальное руководство по искусственному интеллекту
Генераторы изображений искусственного интеллекта раньше создавали искаженный текст, поскольку их текстовые кодировщики, такие как CLIP, превращают подсказки в токены подслов, которые улавливают общий смысл, но не побуквенное написание, в результате чего модель изображения не получает точного сигнала о форме букв.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Разборчивые буквы появились благодаря более крупным кодировщикам текста на языковой модели, кодировщикам с учетом символов, обучающим данным, ориентированным на текст, и новым архитектурам. Это важно для всех, кто занимается созданием плакатов, логотипов, мемов или макетов упаковки.
Writing is an unforgiving target. A face can be slightly off and still read as a face, but one wrong stroke turns an 'e' into a 'c'. Early diffusion models learned that shop signs, book covers and T-shirts contain lettering, so they produced shapes with the rhythm of text while getting the actual letters wrong. The text encoder was a major cause. Stable Diffusion 1.x used OpenAI's CLIP text encoder, which was trained to match whole captions to images. CLIP splits words into subword tokens, so a word like 'bakery' may become a single token, and the image model receives a representation of meaning rather than a sequence of letters. Nothing in that signal says 'b, then a, then k'. Google's Imagen research in 2022 found that a large frozen T5 language-model encoder improved prompt following, and its samples rendered text noticeably better. A follow-up Google study on character-aware models showed that byte-level encoders such as ByT5, which see individual characters, spell much better. Resolution mattered too. Small letters occupy very few cells in a compressed latent, so fine strokes blur. Training data was another limit. Captions rarely wrote out the text visible in an image, so the model could not link words to letter shapes. Progress came from several directions. DeepFloyd IF and Stable Diffusion 3 paired their image models with T5 encoders. Research systems such as TextDiffuser and GlyphControl gave the model explicit layouts or pre-rendered letter images to follow. Products including Ideogram, DALL-E 3 and later autoregressive image generators made legible text routine, helped by training captions that include the words shown in the image. One misconception is that modern models read letters from a font file. They still generate letters as pixels, which is why long passages, rare words and small print still go wrong.
Ранний запрос Stable Diffusion для вывески пекарни с надписью «Свежий хлеб» возвращает закорючки, похожие на буквы, такие как «СВЕЖАЯ ВЫПЕЧКА», поскольку модель знает, что вывески содержат текст, но не знает, как его написать.
Маркетолог, использующий новую модель, ограничивает заголовок плаката тремя короткими словами в кавычках и получает правильное написание с первых нескольких попыток.
Дизайнер создает иллюстрацию без текста, затем добавляет настоящие буквы в программе макетирования, чтобы шрифт, интервалы и написание были точными.
Пользователь исправляет одно слово с ошибкой на сгенерированной витрине, маскируя эту область и закрашивая ее правильным словом.
Ведущие модели теперь надежно справляются с короткими заголовками и вывесками, а более сложные проблемы перешли к более длинным отрывкам, многоязычным сценариям, единообразным шрифтам во всех сериях и точному тексту в видео. Сценарии с тысячами символов, такие как китайский, или со сложным соединением букв, такие как арабский, исторически отставали от английского, и прогресс зависит от данных обучения на этих языках. Разборчивый сгенерированный текст также вызывает опасения по поводу неправильного использования, поскольку становится легче создавать реалистичные поддельные документы, квитанции и снимки экрана. Это делает водяные знаки и маркировку происхождения более важными.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Генераторы изображений искусственного интеллекта раньше создавали искаженный текст, поскольку их текстовые кодировщики, такие как CLIP, превращают подсказки в токены подслов, которые улавливают общий смысл, но не побуквенное написание, в результате чего модель изображения не получает точного сигнала о форме букв. Разборчивые буквы появились благодаря более крупным кодировщикам текста на языковой модели, кодировщикам с учетом символов, обучающим данным, ориентированным на текст, и новым архитектурам. Это важно для всех, кто занимается созданием плакатов, логотипов, мемов или макетов упаковки.
Такое слово, как «пекарня», может стать одним токеном, поэтому модель изображения получает его значение, но не получает информации об отдельных буквах.
Кодировщики на уровне байтов раскрывают каждый символ, предоставляя модели изображения побуквенную информацию, которую скрывают токены подслов.
Буквы имеют точную форму, поэтому малейшее изменение, например, превращение буквы «е» в букву «с», разрушает слово.
Если в подписи никогда не говорится, что читается на знаке, у модели нет возможности связать эти слова с буквами, которые она видит.
Они предоставили пространственное руководство о том, куда движется каждый персонаж и как он выглядит, и модель следовала этому указанию при создании.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Преобразование текста в изображение
Визуальный ИИ