Visuele AI-GIDS

Tekstweergave in door AI gegenereerde afbeeldingen

AI-beeldgeneratoren produceerden vroeger onleesbare tekst omdat hun tekstencoders, zoals CLIP, prompts omzetten in subwoordtokens die de algemene betekenis vastleggen, maar niet de spelling per letter, waardoor het beeldmodel geen precies signaal over lettervormen had.

Luister naar deze gidsAI-verteld · ~3 min

Op deze pagina4 minuten lezen
  1. Overzicht
  2. Diepe duik
  3. Implementatie in de echte wereld
  4. De toekomst van tekstweergave in door AI gegenereerde afbeeldingen
  5. Het in de praktijk brengen
  6. Blijf verkennen
  7. Veelgestelde vragen

Overzicht

Leesbare letters zijn mogelijk gemaakt door tekstencoders met grotere taalmodellen, karakterbewuste encoders, tekstgerichte trainingsgegevens en nieuwe architecturen. Dat is belangrijk voor iedereen die posters, logo's, memes of verpakkingsmodellen maakt.

Diepe duik

Schrijven is een meedogenloos doelwit. Een gezicht kan enigszins afwijken en nog steeds als een gezicht worden gelezen, maar één verkeerde streek verandert een 'e' in een 'c'. Vroege verspreidingsmodellen leerden dat uithangborden, boekomslagen en T-shirts letters bevatten, dus produceerden ze vormen met het ritme van de tekst, terwijl ze de werkelijke letters verkeerd hadden. De tekstencoder was een belangrijke oorzaak. Stable Diffusion 1.x gebruikte de CLIP-tekstencoder van OpenAI, die was getraind om hele bijschriften aan afbeeldingen te koppelen. CLIP splitst woorden op in subwoordtokens, zodat een woord als 'bakkerij' één enkel token kan worden, en het beeldmodel een representatie van de betekenis krijgt in plaats van een reeks letters. Niets in dat signaal zegt 'b, dan a, dan k'. Uit Google's Imagen-onderzoek uit 2022 bleek dat een grote bevroren T5-taalmodel-encoder het volgen van prompts verbeterde, en dat de voorbeelden de tekst merkbaar beter weergaven. Een vervolgonderzoek van Google naar karakterbewuste modellen toonde aan dat encoders op byteniveau, zoals ByT5, die individuele karakters zien, veel beter spellen. Resolutie was ook van belang. Kleine letters bezetten heel weinig cellen in een gecomprimeerde latente letter, waardoor fijne streken vervagen. Trainingsgegevens vormden een andere limiet. Bijschriften schreven zelden de tekst die zichtbaar is in een afbeelding, dus het model kon geen woorden aan lettervormen koppelen. De vooruitgang kwam uit verschillende richtingen. DeepFloyd IF en Stable Diffusion 3 koppelden hun beeldmodellen aan T5-encoders. Onderzoekssystemen zoals TextDiffuser en GlyphControl gaven het model expliciete lay-outs of vooraf gerenderde letterafbeeldingen om te volgen. Producten zoals Ideogram, DALL-E 3 en latere autoregressieve beeldgeneratoren maakten een leesbare tekstroutine, geholpen door trainingsbijschriften die de woorden bevatten die in de afbeelding worden weergegeven. Een misvatting is dat moderne modellen letters uit een lettertypebestand lezen. Ze genereren nog steeds letters als pixels, waardoor lange passages, zeldzame woorden en kleine lettertjes nog steeds fout gaan.

Implementatie in de echte wereld

Een vroege Stable Diffusion-prompt voor een bakkerijbord met de tekst 'Vers brood' retourneert letterachtige kronkels zoals 'FRESSH BRAED', omdat het model weet dat op borden tekst staat, maar niet hoe deze moet worden gespeld.

Een marketeer die een nieuwer model gebruikt, houdt de kop van een poster op drie korte woorden tussen aanhalingstekens en krijgt binnen de eerste paar pogingen de juiste spelling.

Een ontwerper genereert een illustratie zonder tekst en voegt vervolgens de echte letters toe aan een opmaakprogramma, zodat het lettertype, de spatiëring en de spelling exact zijn.

Een gebruiker corrigeert één verkeerd gespeld woord op een gegenereerde winkelpui door dat gebied te maskeren en het met het juiste woord in te schilderen.

De toekomst van tekstweergave in door AI gegenereerde afbeeldingen

Toonaangevende modellen kunnen nu betrouwbaar omgaan met korte koppen en tekens, en de moeilijkere problemen zijn verplaatst naar langere passages, meertalige scripts, consistente lettertypen in een reeks en nauwkeurige tekst in video. Scripts met duizenden tekens, zoals het Chinees, of met complexe letterverbindingen, zoals het Arabisch, zijn historisch gezien achtergebleven bij het Engels, en de voortgang hangt af van trainingsgegevens in die talen. Leesbare gegenereerde tekst geeft ook aanleiding tot zorgen over misbruik, omdat realistische nepdocumenten, betalingsbewijzen en schermafbeeldingen gemakkelijker te maken worden. Dat maakt watermerken en herkomstaanduiding belangrijker.

Het in de praktijk brengen

Waarom het ertoe doet

  • Snelheid en schaal. Visuele AI kan inspectie-, detectie- en taggingtaken op schaal automatiseren.
  • Bouwkeuzes. Creatieve teams kunnen concepten sneller prototypen met minder handmatige revisies.
  • Team en workflow. Bij bewerkingen kan gebruik worden gemaakt van beeld- en videosignalen die voorheen moeilijk te verwerken waren.

Pas op voor

  • Beeldrechten en toestemming kunnen juridische risico's worden als de herkomst onduidelijk is.
  • De prestaties van modellen kunnen variëren afhankelijk van de belichting, demografische gegevens en omgevingen.
  • Valse positieve resultaten kunnen onopgemerkt blijven, tenzij de vertrouwensdrempels worden gecontroleerd.

Volgende stappen

  1. Definieer acceptatiecriteria voor precisie-, terugroep- en foutkosten.
  2. Test met gegevens die overeenkomen met echte productieomstandigheden.
  3. Voeg menselijke beoordeling toe voor voorspellingen met weinig vertrouwen of hoge impact.
  4. Volg modelafwijkingen en valideer opnieuw na wijzigingen in de camera of dataset.

Blijf verkennen

Gratis nieuwsbrief

Ontvang de dagelijkse AI-briefing

Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.

Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.

Test jezelf

Take the Text Rendering in AI-Generated Images quiz

Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.

Quiz starten

Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie

Veelgestelde vragen

Wat is tekstweergave in door AI gegenereerde afbeeldingen?

AI-beeldgeneratoren produceerden vroeger onleesbare tekst omdat hun tekstencoders, zoals CLIP, prompts omzetten in subwoordtokens die de algemene betekenis vastleggen, maar niet de spelling per letter, waardoor het beeldmodel geen precies signaal over lettervormen had. Leesbare letters zijn mogelijk gemaakt door tekstencoders met grotere taalmodellen, karakterbewuste encoders, tekstgerichte trainingsgegevens en nieuwe architecturen. Dat is belangrijk voor iedereen die posters, logo's, memes of verpakkingsmodellen maakt.

Waarom hadden CLIP-gebaseerde beeldmodellen moeite om woorden correct te spellen?

Een woord als 'bakkerij' kan één token worden, zodat het beeldmodel zijn betekenis krijgt, maar geen informatie over de afzonderlijke letters.

Welk soort encoder vond de karakterbewuste studie van Google spreuken beter?

Encoders op byteniveau maken elk teken zichtbaar, waardoor het afbeeldingsmodel de informatie per letter krijgt die subwoordtokens verbergen.

Waarom is een kleine fout aanvaardbaar in een gegenereerd gezicht, maar niet in gegenereerde tekst?

Letters worden gedefinieerd door precieze vormen, dus een kleine verandering, zoals het veranderen van een 'e' in een 'c', breekt het woord.

Welke beperking in de trainingsgegevens maakte het moeilijk om woorden aan lettervormen te koppelen?

Als een bijschrift nooit zegt wat er op een bord staat, kan het model die woorden niet verbinden met de letters die het ziet.

Wat hebben onderzoekssystemen als TextDiffuser en GlyphControl toegevoegd aan het genereren van afbeeldingen?

Ze gaven ruimtelijke begeleiding over waar elk personage naartoe gaat en hoe het eruit ziet, en het model volgde die begeleiding tijdens het genereren.