HƯỚNG DẪN AI trực quan

Hiển thị văn bản trong hình ảnh do AI tạo ra

Trình tạo hình ảnh AI được sử dụng để tạo ra văn bản bị cắt xén vì bộ mã hóa văn bản của chúng, chẳng hạn như CLIP, biến lời nhắc thành mã thông báo từ phụ để nắm bắt ý nghĩa tổng thể nhưng không ghi lại chính tả từng chữ cái, khiến mô hình hình ảnh không có tín hiệu chính xác về hình dạng chữ cái.

Nghe hướng dẫn nàyAI thuật lại · ~3 min

Trên trang nàyđọc 4 phút
  1. Tổng quan
  2. Lặn sâu
  3. Triển khai trong thế giới thực
  4. Tương lai của việc hiển thị văn bản trong hình ảnh do AI tạo ra
  5. Đưa nó vào thực tế
  6. Tiếp tục khám phá
  7. Câu hỏi thường gặp

Tổng quan

Chữ dễ đọc xuất hiện thông qua các bộ mã hóa văn bản mô hình ngôn ngữ lớn hơn, bộ mã hóa nhận biết ký tự, dữ liệu đào tạo tập trung vào văn bản và kiến ​​trúc mới. Điều đó quan trọng đối với bất kỳ ai tạo áp phích, biểu tượng, meme hoặc mô hình bao bì.

Lặn sâu

Viết là một mục tiêu không thể tha thứ. Một khuôn mặt có thể hơi lệch một chút nhưng vẫn được đọc là một khuôn mặt, nhưng một nét sai sẽ biến chữ 'e' thành 'c'. Các mô hình phổ biến ban đầu biết rằng biển hiệu cửa hàng, bìa sách và áo phông có chứa chữ cái, vì vậy họ tạo ra các hình dạng có nhịp điệu của văn bản trong khi viết sai các chữ cái thực tế. Bộ mã hóa văn bản là nguyên nhân chính. Stable Diffusion 1.x đã sử dụng bộ mã hóa văn bản CLIP của OpenAI, được đào tạo để khớp toàn bộ chú thích với hình ảnh. CLIP chia các từ thành các mã thông báo từ phụ, do đó, một từ như 'tiệm bánh' có thể trở thành một mã thông báo duy nhất và mô hình hình ảnh nhận được sự thể hiện ý nghĩa thay vì một chuỗi các chữ cái. Không có gì trong tín hiệu đó nói 'b, rồi a, rồi k'. Nghiên cứu Imagen của Google vào năm 2022 đã phát hiện ra rằng bộ mã hóa mô hình ngôn ngữ T5 đông lạnh lớn đã cải thiện khả năng theo dõi lời nhắc và các mẫu của nó hiển thị văn bản tốt hơn rõ rệt. Một nghiên cứu tiếp theo của Google về các mô hình nhận biết ký tự cho thấy các bộ mã hóa cấp byte như ByT5, có khả năng nhìn thấy các ký tự riêng lẻ, đánh vần tốt hơn nhiều. Độ phân giải cũng quan trọng. Các chữ nhỏ chiếm rất ít ô trong phần tiềm ẩn bị nén, do đó nét vẽ đẹp sẽ bị mờ. Dữ liệu đào tạo là một giới hạn khác. Chú thích hiếm khi viết ra văn bản hiển thị trong hình ảnh, vì vậy mô hình không thể liên kết các từ với hình dạng chữ cái. Sự tiến bộ đến từ nhiều hướng. DeepFloyd IF và Stable Diffusion 3 đã ghép nối các mô hình hình ảnh của họ với bộ mã hóa T5. Các hệ thống nghiên cứu như TextDiffuser và GlyphControl đã cung cấp cho mô hình bố cục rõ ràng hoặc hình ảnh chữ cái được kết xuất trước để tuân theo. Các sản phẩm bao gồm Ideogram, DALL-E 3 và các trình tạo hình ảnh tự hồi phục sau này đã tạo ra quy trình văn bản dễ đọc, được hỗ trợ bằng cách đào tạo chú thích bao gồm các từ hiển thị trong hình ảnh. Một quan niệm sai lầm là các mô hình hiện đại đọc các chữ cái từ một tệp phông chữ. Chúng vẫn tạo ra các chữ cái dưới dạng pixel, đó là lý do tại sao các đoạn văn dài, từ hiếm và chữ in nhỏ vẫn mắc lỗi.

Triển khai trong thế giới thực

An early Stable Diffusion prompt for a bakery sign reading 'Fresh Bread' returns letter-like squiggles such as 'FRESSH BRAED', because the model knows signs carry text but not how to spell it.

A marketer using a newer model keeps a poster headline to three short words in quotation marks and gets correct spelling within the first few tries.

A designer generates an illustration with no text, then adds the real lettering in a layout program so the font, spacing and spelling are exact.

A user fixes one misspelled word on a generated storefront by masking that area and inpainting it with the correct word.

Tương lai của việc hiển thị văn bản trong hình ảnh do AI tạo ra

Leading models now handle short headlines and signs reliably, and the harder problems have moved to longer passages, multilingual scripts, consistent fonts across a series and accurate text in video. Scripts with thousands of characters, such as Chinese, or with complex letter joining, such as Arabic, have historically lagged behind English, and progress depends on training data in those languages. Legible generated text also raises misuse concerns, because realistic fake documents, receipts and screenshots become easier to make. That makes watermarking and provenance labeling more important.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Tốc độ và tỷ lệ. Visual AI có thể tự động hóa các nhiệm vụ kiểm tra, phát hiện và gắn thẻ trên quy mô lớn.
  • Xây dựng lựa chọn. Các nhóm sáng tạo có thể tạo nguyên mẫu nhanh hơn với ít sửa đổi thủ công hơn.
  • Nhóm và quy trình làm việc. Các hoạt động có thể sử dụng tín hiệu hình ảnh và video mà trước đây khó xử lý.

coi chừng

  • Quyền và sự đồng ý về hình ảnh có thể trở thành rủi ro pháp lý nếu nguồn gốc xuất xứ không rõ ràng.
  • Hiệu suất của mô hình có thể khác nhau tùy theo ánh sáng, nhân khẩu học và môi trường.
  • Kết quả dương tính giả có thể không được chú ý trừ khi ngưỡng tin cậy được theo dõi.

Các bước tiếp theo

  1. Xác định tiêu chí chấp nhận về độ chính xác, thu hồi và chi phí lỗi.
  2. Kiểm tra với dữ liệu phù hợp với điều kiện sản xuất thực tế.
  3. Thêm đánh giá của con người đối với những dự đoán có độ tin cậy thấp hoặc tác động cao.
  4. Theo dõi sự trôi dạt của mô hình và xác nhận lại sau khi thay đổi máy ảnh hoặc tập dữ liệu.

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Làm bài kiểm tra Hiển thị văn bản trong hình ảnh do AI tạo

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

What is Text Rendering in AI-Generated Images?

Trình tạo hình ảnh AI được sử dụng để tạo ra văn bản bị cắt xén vì bộ mã hóa văn bản của chúng, chẳng hạn như CLIP, biến lời nhắc thành mã thông báo từ phụ để nắm bắt ý nghĩa tổng thể nhưng không ghi lại chính tả từng chữ cái, khiến mô hình hình ảnh không có tín hiệu chính xác về hình dạng chữ cái. Chữ dễ đọc xuất hiện thông qua các bộ mã hóa văn bản mô hình ngôn ngữ lớn hơn, bộ mã hóa nhận biết ký tự, dữ liệu đào tạo tập trung vào văn bản và kiến ​​trúc mới. Điều đó quan trọng đối với bất kỳ ai tạo áp phích, biểu tượng, meme hoặc mô hình bao bì.

Why did CLIP-based image models struggle to spell words correctly?

A word like 'bakery' can become one token, so the image model gets its meaning but no information about its individual letters.

Which kind of encoder did Google's character-aware study find spells better?

Byte-level encoders expose every character, giving the image model the letter-by-letter information that subword tokens hide.

Why is a small error tolerable in a generated face but not in generated text?

Letters are defined by precise shapes, so a tiny change, such as turning an 'e' into a 'c', breaks the word.

What limitation in training data made it hard to link words to letter shapes?

If a caption never says what a sign reads, the model has no way to connect those words to the letters it sees.

What did research systems such as TextDiffuser and GlyphControl add to image generation?

They supplied spatial guidance about where each character goes and what it looks like, and the model followed that guidance while generating.