এআই-জেনারেটেড ইমেজে টেক্সট রেন্ডারিং

লেখা একটি ক্ষমাহীন লক্ষ্য। একটি মুখ সামান্য বন্ধ এবং এখনও একটি মুখ হিসাবে পড়া যেতে পারে, কিন্তু একটি ভুল স্ট্রোক একটি 'e' কে 'c' এ পরিণত করে। প্রারম্ভিক ডিফিউশন মডেলগুলি শিখেছিল যে দোকানের চিহ্ন, বইয়ের কভার এবং টি-শার্টগুলিতে অক্ষর থাকে, তাই তারা প্রকৃত অক্ষরগুলি ভুল পেয়ে পাঠ্যের ছন্দের সাথে আকার তৈরি করে। টেক্সট এনকোডার একটি প্রধান কারণ ছিল. Stable Diffusion 1.x OpenAI-এর CLIP টেক্সট এনকোডার ব্যবহার করেছে, যা চিত্রের সাথে পুরো ক্যাপশনগুলিকে মেলানোর জন্য প্রশিক্ষিত ছিল৷ CLIP শব্দগুলিকে সাবওয়ার্ড টোকেনগুলিতে বিভক্ত করে, তাই 'বেকারি'-এর মতো একটি শব্দ একক টোকেন হয়ে উঠতে পারে এবং চিত্রের মডেলটি অক্ষরের ক্রম নয় বরং অর্থের উপস্থাপনা পায়। সেই সংকেতে 'b, তারপর a, তারপর k' বলে কিছু নেই। 2022 সালে Google-এর Imagen গবেষণায় দেখা গেছে যে একটি বৃহৎ হিমায়িত T5 ভাষা-মডেল এনকোডার প্রম্পট অনুসরণে উন্নতি করেছে, এবং এর নমুনাগুলি পাঠ্যকে লক্ষণীয়ভাবে ভালভাবে রেন্ডার করেছে। চরিত্র-সচেতন মডেলগুলির উপর একটি ফলো-আপ Google গবেষণায় দেখা গেছে যে বাইট-স্তরের এনকোডার যেমন ByT5, যেগুলি স্বতন্ত্র অক্ষরগুলি দেখে, বানান অনেক ভাল। রেজোলিউশনও গুরুত্বপূর্ণ। ছোট অক্ষরগুলি সংকুচিত সুপ্ত স্থানে খুব কম কোষ দখল করে, তাই সূক্ষ্ম স্ট্রোকগুলি অস্পষ্ট হয়। প্রশিক্ষণ তথ্য অন্য সীমা ছিল. ক্যাপশনগুলি খুব কমই একটি ছবিতে দৃশ্যমান পাঠ্যটি লিখেছে, তাই মডেলটি অক্ষর আকারে শব্দগুলিকে লিঙ্ক করতে পারেনি৷ বিভিন্ন দিক থেকে অগ্রগতি এসেছে। DeepFloyd IF এবং Stable Diffusion 3 তাদের ছবির মডেলগুলিকে T5 এনকোডারগুলির সাথে যুক্ত করেছে৷ TextDiffuser এবং GlyphControl এর মতো গবেষণা সিস্টেমগুলি অনুসরণ করার জন্য মডেলটিকে স্পষ্ট লেআউট বা প্রি-রেন্ডার করা চিঠির ছবি দিয়েছে। আইডিওগ্রাম, DALL-E 3 এবং পরবর্তীতে অটোরিগ্রেসিভ ইমেজ জেনারেটর সহ পণ্যগুলি পাঠ্য পাঠের রুটিন তৈরি করেছে, প্রশিক্ষণের ক্যাপশন দ্বারা সাহায্য করেছে যা ছবিতে দেখানো শব্দগুলি অন্তর্ভুক্ত করে৷ একটি ভুল ধারণা হল যে আধুনিক মডেলরা একটি ফন্ট ফাইল থেকে অক্ষর পড়ে। তারা এখনও পিক্সেল হিসাবে অক্ষর তৈরি করে, যার কারণে দীর্ঘ প্যাসেজ, বিরল শব্দ এবং ছোট মুদ্রণ এখনও ভুল হয়ে যায়।