PANDUAN AI Visual
Penyampaian Teks dalam Imej Dijana AI
Penjana imej AI digunakan untuk menghasilkan teks bercelaru kerana pengekod teks mereka, seperti CLIP, menukar gesaan menjadi token subkata yang menangkap makna keseluruhan tetapi bukan ejaan huruf demi huruf, yang menyebabkan model imej tidak mempunyai isyarat yang tepat tentang bentuk huruf.
Dengar panduan iniAI-diceritakan · ~3 min
Pada halaman ini4 minit membaca
Gambaran keseluruhan
Huruf yang boleh dibaca tiba melalui pengekod teks model bahasa yang lebih besar, pengekod sedar aksara, data latihan tertumpu teks dan seni bina baharu. Itu penting bagi sesiapa sahaja yang membuat poster, logo, meme atau mockup pembungkusan.
Menyelam dalam
Menulis adalah sasaran yang tidak boleh dimaafkan. Wajah boleh dimatikan sedikit dan masih dibaca sebagai muka, tetapi satu pukulan yang salah menukar 'e' kepada 'c'. Model penyebaran awal mengetahui bahawa papan tanda kedai, kulit buku dan baju-T mengandungi huruf, jadi mereka menghasilkan bentuk dengan irama teks sambil membuat huruf yang salah. Pengekod teks adalah punca utama. Stable Diffusion 1.x menggunakan pengekod teks CLIP OpenAI, yang dilatih untuk memadankan keseluruhan kapsyen dengan imej. CLIP membahagikan perkataan kepada token subkata, jadi perkataan seperti 'kedai roti' boleh menjadi satu token dan model imej menerima perwakilan makna dan bukannya urutan huruf. Tiada apa-apa dalam isyarat itu mengatakan 'b, kemudian a, kemudian k'. Penyelidikan Imagen Google pada tahun 2022 mendapati bahawa pengekod model bahasa T5 beku yang besar telah meningkatkan pengikut segera dan sampelnya menjadikan teks lebih baik dengan ketara. Kajian Google susulan mengenai model sedar watak menunjukkan bahawa pengekod peringkat bait seperti ByT5, yang melihat aksara individu, mengeja dengan lebih baik. Resolusi juga penting. Huruf kecil menduduki sangat sedikit sel dalam laten mampat, jadi sapuan halus kabur. Data latihan adalah had lain. Kapsyen jarang menulis teks yang kelihatan dalam imej, jadi model tidak dapat memautkan perkataan kepada bentuk huruf. Kemajuan datang dari beberapa arah. DeepFloyd IF dan Stable Diffusion 3 menggandingkan model imej mereka dengan pengekod T5. Sistem penyelidikan seperti TextDiffuser dan GlyphControl memberikan model reka letak eksplisit atau imej huruf pra-diberikan untuk diikuti. Produk termasuk Ideogram, DALL-E 3 dan penjana imej autoregresif kemudiannya menjadikan rutin teks yang boleh dibaca, dibantu oleh kapsyen latihan yang merangkumi perkataan yang ditunjukkan dalam imej. Satu tanggapan salah ialah model moden membaca huruf daripada fail fon. Mereka masih menjana huruf sebagai piksel, itulah sebabnya petikan panjang, perkataan jarang dan cetakan kecil masih menjadi salah.
Pelaksanaan Dunia Sebenar
Gesaan awal Stable Diffusion untuk tanda kedai roti yang berbunyi 'Roti Segar' mengembalikan coretan seperti huruf seperti 'FRESSH BRAED', kerana model itu mengetahui papan tanda membawa teks tetapi bukan cara mengejanya.
Pemasar yang menggunakan model yang lebih baharu mengekalkan tajuk poster kepada tiga perkataan pendek dalam tanda petikan dan mendapat ejaan yang betul dalam beberapa percubaan pertama.
Pereka bentuk menghasilkan ilustrasi tanpa teks, kemudian menambah huruf sebenar dalam atur cara susun atur supaya fon, jarak dan ejaan adalah tepat.
Seorang pengguna membetulkan satu perkataan yang salah eja pada etalase yang dijana dengan menutup kawasan itu dan melukisnya dengan perkataan yang betul.
Masa Depan Perenderan Teks dalam Imej Dijana AI
Model terkemuka kini mengendalikan tajuk dan tanda yang pendek dengan pasti, dan masalah yang lebih sukar telah beralih kepada petikan yang lebih panjang, skrip berbilang bahasa, fon yang konsisten merentas siri dan teks yang tepat dalam video. Skrip dengan beribu-ribu aksara, seperti bahasa Cina, atau dengan sambung huruf yang rumit, seperti bahasa Arab, secara sejarahnya ketinggalan berbanding bahasa Inggeris dan kemajuan bergantung pada data latihan dalam bahasa tersebut. Teks yang dijana yang boleh dibaca juga menimbulkan kebimbangan penyalahgunaan, kerana dokumen, resit dan tangkapan skrin palsu yang realistik menjadi lebih mudah untuk dibuat. Itu menjadikan penanda air dan pelabelan asal lebih penting.
Mempraktikkannya
Mengapa ia penting
- Kelajuan dan skala. Visual AI boleh mengautomasikan tugas pemeriksaan, pengesanan dan penandaan pada skala.
- Pilihan binaan. Pasukan kreatif boleh membuat prototaip konsep dengan lebih pantas dengan lebih sedikit semakan manual.
- Pasukan dan aliran kerja. Operasi boleh menggunakan isyarat imej dan video yang sebelum ini sukar diproses.
Berhati-hati untuk
- Hak imej dan persetujuan boleh menjadi risiko undang-undang jika asalnya tidak jelas.
- Prestasi model boleh berbeza mengikut pencahayaan, demografi dan persekitaran.
- Positif palsu mungkin tidak disedari melainkan ambang keyakinan dipantau.
Langkah seterusnya
- Tentukan kriteria penerimaan untuk ketepatan, ingatan semula dan kos ralat.
- Uji dengan data yang sepadan dengan keadaan pengeluaran sebenar.
- Tambahkan semakan manusia untuk ramalan keyakinan rendah atau berimpak tinggi.
- Jejaki hanyut model dan sahkan semula selepas perubahan kamera atau set data.
Teruskan Meneroka
Newsletter percuma
Dapatkan taklimat AI harian
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Take the Text Rendering in AI-Generated Images quiz
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Soalan lazim
Apakah Rendering Teks dalam Imej Dijana AI?
Penjana imej AI digunakan untuk menghasilkan teks bercelaru kerana pengekod teks mereka, seperti CLIP, menukar gesaan menjadi token subkata yang menangkap makna keseluruhan tetapi bukan ejaan huruf demi huruf, yang menyebabkan model imej tidak mempunyai isyarat yang tepat tentang bentuk huruf. Huruf yang boleh dibaca tiba melalui pengekod teks model bahasa yang lebih besar, pengekod sedar aksara, data latihan tertumpu teks dan seni bina baharu. Itu penting bagi sesiapa sahaja yang membuat poster, logo, meme atau mockup pembungkusan.
Mengapakah model imej berasaskan CLIP bergelut untuk mengeja perkataan dengan betul?
Perkataan seperti 'kedai roti' boleh menjadi satu token, jadi model imej mendapat maknanya tetapi tiada maklumat tentang huruf individunya.
Pengekod jenis yang manakah yang didapati lebih baik oleh kajian sedar watak Google?
Pengekod peringkat bait mendedahkan setiap aksara, memberikan model imej maklumat huruf demi huruf yang disembunyikan oleh token subkata.
Mengapakah ralat kecil boleh diterima dalam muka yang dijana tetapi tidak dalam teks yang dijana?
Huruf ditakrifkan oleh bentuk yang tepat, jadi perubahan kecil, seperti menukar 'e' menjadi 'c', memecahkan perkataan.
Apakah had dalam data latihan yang menyebabkan sukar untuk memautkan perkataan dengan bentuk huruf?
Jika kapsyen tidak pernah menyatakan apa yang dibaca oleh tanda, model tidak mempunyai cara untuk menyambungkan perkataan tersebut kepada huruf yang dilihatnya.
Apakah yang ditambahkan oleh sistem penyelidikan seperti TextDiffuser dan GlyphControl pada penjanaan imej?
Mereka membekalkan panduan spatial tentang ke mana setiap watak pergi dan rupanya, dan model mengikuti panduan itu semasa menjana.
Teruskan belajar
Panduan berkaitan
Lebih banyak panduan dipilih untuk topik ini