Tiếp theoHướng dẫn tiếp theo
Chuyển văn bản thành hình ảnh
AI trực quan
HƯỚNG DẪN AI trực quan
Trình tạo hình ảnh AI được sử dụng để tạo ra văn bản bị cắt xén vì bộ mã hóa văn bản của chúng, chẳng hạn như CLIP, biến lời nhắc thành mã thông báo từ phụ để nắm bắt ý nghĩa tổng thể nhưng không ghi lại chính tả từng chữ cái, khiến mô hình hình ảnh không có tín hiệu chính xác về hình dạng chữ cái.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Chữ dễ đọc xuất hiện thông qua các bộ mã hóa văn bản mô hình ngôn ngữ lớn hơn, bộ mã hóa nhận biết ký tự, dữ liệu đào tạo tập trung vào văn bản và kiến trúc mới. Điều đó quan trọng đối với bất kỳ ai tạo áp phích, biểu tượng, meme hoặc mô hình bao bì.
Viết là một mục tiêu không thể tha thứ. Một khuôn mặt có thể hơi lệch một chút nhưng vẫn được đọc là một khuôn mặt, nhưng một nét sai sẽ biến chữ 'e' thành 'c'. Các mô hình phổ biến ban đầu biết rằng biển hiệu cửa hàng, bìa sách và áo phông có chứa chữ cái, vì vậy họ tạo ra các hình dạng có nhịp điệu của văn bản trong khi viết sai các chữ cái thực tế. Bộ mã hóa văn bản là nguyên nhân chính. Stable Diffusion 1.x đã sử dụng bộ mã hóa văn bản CLIP của OpenAI, được đào tạo để khớp toàn bộ chú thích với hình ảnh. CLIP chia các từ thành các mã thông báo từ phụ, do đó, một từ như 'tiệm bánh' có thể trở thành một mã thông báo duy nhất và mô hình hình ảnh nhận được sự thể hiện ý nghĩa thay vì một chuỗi các chữ cái. Không có gì trong tín hiệu đó nói 'b, rồi a, rồi k'. Nghiên cứu Imagen của Google vào năm 2022 đã phát hiện ra rằng bộ mã hóa mô hình ngôn ngữ T5 đông lạnh lớn đã cải thiện khả năng theo dõi lời nhắc và các mẫu của nó hiển thị văn bản tốt hơn rõ rệt. Một nghiên cứu tiếp theo của Google về các mô hình nhận biết ký tự cho thấy các bộ mã hóa cấp byte như ByT5, có khả năng nhìn thấy các ký tự riêng lẻ, đánh vần tốt hơn nhiều. Độ phân giải cũng quan trọng. Các chữ nhỏ chiếm rất ít ô trong phần tiềm ẩn bị nén, do đó nét vẽ đẹp sẽ bị mờ. Dữ liệu đào tạo là một giới hạn khác. Chú thích hiếm khi viết ra văn bản hiển thị trong hình ảnh, vì vậy mô hình không thể liên kết các từ với hình dạng chữ cái. Sự tiến bộ đến từ nhiều hướng. DeepFloyd IF và Stable Diffusion 3 đã ghép nối các mô hình hình ảnh của họ với bộ mã hóa T5. Các hệ thống nghiên cứu như TextDiffuser và GlyphControl đã cung cấp cho mô hình bố cục rõ ràng hoặc hình ảnh chữ cái được kết xuất trước để tuân theo. Các sản phẩm bao gồm Ideogram, DALL-E 3 và các trình tạo hình ảnh tự hồi phục sau này đã tạo ra quy trình văn bản dễ đọc, được hỗ trợ bằng cách đào tạo chú thích bao gồm các từ hiển thị trong hình ảnh. Một quan niệm sai lầm là các mô hình hiện đại đọc các chữ cái từ một tệp phông chữ. Chúng vẫn tạo ra các chữ cái dưới dạng pixel, đó là lý do tại sao các đoạn văn dài, từ hiếm và chữ in nhỏ vẫn mắc lỗi.
An early Stable Diffusion prompt for a bakery sign reading 'Fresh Bread' returns letter-like squiggles such as 'FRESSH BRAED', because the model knows signs carry text but not how to spell it.
A marketer using a newer model keeps a poster headline to three short words in quotation marks and gets correct spelling within the first few tries.
A designer generates an illustration with no text, then adds the real lettering in a layout program so the font, spacing and spelling are exact.
A user fixes one misspelled word on a generated storefront by masking that area and inpainting it with the correct word.
Leading models now handle short headlines and signs reliably, and the harder problems have moved to longer passages, multilingual scripts, consistent fonts across a series and accurate text in video. Scripts with thousands of characters, such as Chinese, or with complex letter joining, such as Arabic, have historically lagged behind English, and progress depends on training data in those languages. Legible generated text also raises misuse concerns, because realistic fake documents, receipts and screenshots become easier to make. That makes watermarking and provenance labeling more important.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Trình tạo hình ảnh AI được sử dụng để tạo ra văn bản bị cắt xén vì bộ mã hóa văn bản của chúng, chẳng hạn như CLIP, biến lời nhắc thành mã thông báo từ phụ để nắm bắt ý nghĩa tổng thể nhưng không ghi lại chính tả từng chữ cái, khiến mô hình hình ảnh không có tín hiệu chính xác về hình dạng chữ cái. Chữ dễ đọc xuất hiện thông qua các bộ mã hóa văn bản mô hình ngôn ngữ lớn hơn, bộ mã hóa nhận biết ký tự, dữ liệu đào tạo tập trung vào văn bản và kiến trúc mới. Điều đó quan trọng đối với bất kỳ ai tạo áp phích, biểu tượng, meme hoặc mô hình bao bì.
A word like 'bakery' can become one token, so the image model gets its meaning but no information about its individual letters.
Byte-level encoders expose every character, giving the image model the letter-by-letter information that subword tokens hide.
Letters are defined by precise shapes, so a tiny change, such as turning an 'e' into a 'c', breaks the word.
If a caption never says what a sign reads, the model has no way to connect those words to the letters it sees.
They supplied spatial guidance about where each character goes and what it looks like, and the model followed that guidance while generating.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Chuyển văn bản thành hình ảnh
AI trực quan