คู่มือ AI แบบเห็นภาพ
การแสดงข้อความในรูปภาพที่สร้างโดย AI
เครื่องมือสร้างภาพ AI เคยสร้างข้อความที่เพี้ยนไป เนื่องจากตัวเข้ารหัสข้อความ เช่น CLIP แปลงคำสั่งเป็นโทเค็นคำย่อยที่จับความหมายโดยรวมได้ แต่ไม่ใช่การสะกดทีละตัวอักษร ซึ่งทำให้โมเดลภาพไม่มีสัญญาณที่แม่นยำเกี่ยวกับรูปร่างของตัวอักษร
ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min
บนหน้านี้อ่าน 4 นาที
ภาพรวม
ตัวอักษรที่อ่านง่ายเกิดขึ้นได้ผ่านตัวเข้ารหัสข้อความของโมเดลภาษาขนาดใหญ่, ตัวเข้ารหัสที่รับรู้ตัวอักษร, ข้อมูลฝึกอบรมที่เน้นข้อความ และสถาปัตยกรรมใหม่ๆ ซึ่งมีความสำคัญสำหรับทุกคนที่ทำโปสเตอร์, โลโก้, มีม หรือตัวอย่างบรรจุภัณฑ์
เจาะลึก
Writing is an unforgiving target. A face can be slightly off and still read as a face, but one wrong stroke turns an 'e' into a 'c'. Early diffusion models learned that shop signs, book covers and T-shirts contain lettering, so they produced shapes with the rhythm of text while getting the actual letters wrong. The text encoder was a major cause. Stable Diffusion 1.x used OpenAI's CLIP text encoder, which was trained to match whole captions to images. CLIP splits words into subword tokens, so a word like 'bakery' may become a single token, and the image model receives a representation of meaning rather than a sequence of letters. Nothing in that signal says 'b, then a, then k'. Google's Imagen research in 2022 found that a large frozen T5 language-model encoder improved prompt following, and its samples rendered text noticeably better. A follow-up Google study on character-aware models showed that byte-level encoders such as ByT5, which see individual characters, spell much better. Resolution mattered too. Small letters occupy very few cells in a compressed latent, so fine strokes blur. Training data was another limit. Captions rarely wrote out the text visible in an image, so the model could not link words to letter shapes. Progress came from several directions. DeepFloyd IF and Stable Diffusion 3 paired their image models with T5 encoders. Research systems such as TextDiffuser and GlyphControl gave the model explicit layouts or pre-rendered letter images to follow. Products including Ideogram, DALL-E 3 and later autoregressive image generators made legible text routine, helped by training captions that include the words shown in the image. One misconception is that modern models read letters from a font file. They still generate letters as pixels, which is why long passages, rare words and small print still go wrong.
การใช้งานจริงในโลกแห่งความเป็นจริง
คำสั่ง Stable Diffusion แรกเริ่มสำหรับป้ายร้านเบเกอรี่ที่เขียนว่า 'Fresh Bread' จะแสดงผลเป็นตัวอักษรหยิกหยอย เช่น 'FRESSH BRAED' เนื่องจากโมเดลรู้ว่าป้ายมีข้อความ แต่ไม่รู้วิธีสะกด
นักการตลาดที่ใช้โมเดลใหม่กว่าจะคงพาดหัวโปสเตอร์ไว้ที่สามคำสั้นๆ ในเครื่องหมายคำพูด และจะได้รับการสะกดที่ถูกต้องภายในความพยายามไม่กี่ครั้งแรก
นักออกแบบสร้างภาพประกอบที่ไม่มีข้อความ จากนั้นจึงเพิ่มตัวอักษรจริงลงในโปรแกรมจัดหน้า เพื่อให้ฟอนต์ ระยะห่าง และการสะกดคำมีความแม่นยำ
ผู้ใช้แก้ไขคำที่สะกดผิดหนึ่งคำบนหน้าร้านที่สร้างขึ้นโดยการมาสก์บริเวณนั้นและทำการอินเพนต์ด้วยคำที่ถูกต้อง
อนาคตของการเรนเดอร์ข้อความในภาพที่สร้างด้วย AI
ปัจจุบันโมเดลชั้นนำสามารถจัดการกับพาดหัวข่าวสั้นๆ และป้ายได้อย่างน่าเชื่อถือ และปัญหาที่ยากขึ้นได้ย้ายไปสู่ข้อความที่ยาวขึ้น, สคริปต์หลายภาษา, ฟอนต์ที่สอดคล้องกันตลอดซีรีส์ และข้อความที่แม่นยำในวิดีโอ สคริปต์ที่มีตัวอักษรหลายพันตัว เช่น ภาษาจีน หรือที่มีการเชื่อมตัวอักษรที่ซับซ้อน เช่น ภาษาอาหรับ มักจะล้าหลังภาษาอังกฤษในอดีต และความคืบหน้าขึ้นอยู่กับข้อมูลการฝึกอบรมในภาษาเหล่านั้น ข้อความที่สร้างขึ้นซึ่งอ่านได้ชัดเจนยังก่อให้เกิดความกังวลเกี่ยวกับการใช้งานในทางที่ผิด เนื่องจากเอกสารปลอม ใบเสร็จ และภาพหน้าจอนั่นสมจริง ทำให้สร้างได้ง่ายขึ้น ซึ่งทำให้ลายน้ำและการระบุแหล่งที่มามีความสำคัญมากขึ้น
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- ความเร็วและขนาด. Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ
- สร้างทางเลือก. ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง
- ทีมงานและขั้นตอนการทำงาน. การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก
ระวัง
- สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน
- ประสิทธิภาพของโมเดลอาจแตกต่างกันไปตามสภาพแสง ข้อมูลประชากร และสภาพแวดล้อม
- ผลบวกลวงอาจไม่สังเกตเห็นเว้นแต่จะมีการตรวจสอบเกณฑ์ความเชื่อมั่น
ขั้นตอนต่อไป
- กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด
- ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง
- เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง
- ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ทำแบบทดสอบเรื่องการเรนเดอร์ข้อความในภาพที่สร้างด้วย AI
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
การเรนเดอร์ข้อความในภาพที่สร้างด้วย AI คืออะไร?
เครื่องมือสร้างภาพ AI เคยสร้างข้อความที่เพี้ยนไป เนื่องจากตัวเข้ารหัสข้อความ เช่น CLIP แปลงคำสั่งเป็นโทเค็นคำย่อยที่จับความหมายโดยรวมได้ แต่ไม่ใช่การสะกดทีละตัวอักษร ซึ่งทำให้โมเดลภาพไม่มีสัญญาณที่แม่นยำเกี่ยวกับรูปร่างของตัวอักษร ตัวอักษรที่อ่านง่ายเกิดขึ้นได้ผ่านตัวเข้ารหัสข้อความของโมเดลภาษาขนาดใหญ่, ตัวเข้ารหัสที่รับรู้ตัวอักษร, ข้อมูลฝึกอบรมที่เน้นข้อความ และสถาปัตยกรรมใหม่ๆ ซึ่งมีความสำคัญสำหรับทุกคนที่ทำโปสเตอร์, โลโก้, มีม หรือตัวอย่างบรรจุภัณฑ์
เหตุใดโมเดลรูปภาพที่ใช้ CLIP จึงพยายามสะกดคำให้ถูกต้อง
คำเช่น 'เบเกอรี่' สามารถกลายเป็นโทเค็นเดียวได้ ดังนั้นโมเดลรูปภาพจึงมีความหมาย แต่ไม่มีข้อมูลเกี่ยวกับตัวอักษรแต่ละตัว
การศึกษาการรับรู้ถึงตัวละครของ Google ตัวเข้ารหัสประเภทใดพบว่าคาถาดีกว่า
ตัวเข้ารหัสระดับไบต์เปิดเผยอักขระทุกตัว ทำให้โมเดลรูปภาพได้รับข้อมูลแบบตัวอักษรต่อตัวอักษรที่โทเค็นคำย่อยซ่อนอยู่
เหตุใดข้อผิดพลาดเล็กๆ น้อยๆ จึงสามารถยอมรับได้ในใบหน้าที่สร้างขึ้น แต่ไม่สามารถยอมรับได้ในข้อความที่สร้างขึ้น
ตัวอักษรถูกกำหนดด้วยรูปทรงที่แม่นยำ ดังนั้นการเปลี่ยนแปลงเล็กๆ น้อยๆ เช่น การเปลี่ยน 'e' ให้เป็น 'c' จะทำให้คำขาด
ข้อจำกัดอะไรในข้อมูลการฝึกอบรมทำให้ยากต่อการเชื่อมโยงคำกับรูปร่างตัวอักษร
หากคำบรรยายไม่เคยบอกสิ่งที่ป้ายอ่าน แบบจำลองก็จะไม่มีทางเชื่อมโยงคำเหล่านั้นกับตัวอักษรที่เห็นได้
ระบบการวิจัยเช่น TextDiffuser และ GlyphControl เพิ่มอะไรให้กับการสร้างภาพ
พวกเขาให้คำแนะนำเชิงพื้นที่เกี่ยวกับตำแหน่งที่ตัวละครแต่ละตัวไปและรูปลักษณ์ของมัน และแบบจำลองก็ปฏิบัติตามคำแนะนำนั้นในขณะที่สร้าง
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้