VolgendeVolgende gids
Afbeelding van tekst naar afbeelding
Visuele AI
Visuele AI-GIDS
AI-beeldgeneratoren produceerden vroeger onleesbare tekst omdat hun tekstencoders, zoals CLIP, prompts omzetten in subwoordtokens die de algemene betekenis vastleggen, maar niet de spelling per letter, waardoor het beeldmodel geen precies signaal over lettervormen had.
Luister naar deze gidsAI-verteld · ~3 min
Leesbare letters zijn mogelijk gemaakt door tekstencoders met grotere taalmodellen, karakterbewuste encoders, tekstgerichte trainingsgegevens en nieuwe architecturen. Dat is belangrijk voor iedereen die posters, logo's, memes of verpakkingsmodellen maakt.
Schrijven is een meedogenloos doelwit. Een gezicht kan enigszins afwijken en nog steeds als een gezicht worden gelezen, maar één verkeerde streek verandert een 'e' in een 'c'. Vroege verspreidingsmodellen leerden dat uithangborden, boekomslagen en T-shirts letters bevatten, dus produceerden ze vormen met het ritme van de tekst, terwijl ze de werkelijke letters verkeerd hadden. De tekstencoder was een belangrijke oorzaak. Stable Diffusion 1.x gebruikte de CLIP-tekstencoder van OpenAI, die was getraind om hele bijschriften aan afbeeldingen te koppelen. CLIP splitst woorden op in subwoordtokens, zodat een woord als 'bakkerij' één enkel token kan worden, en het beeldmodel een representatie van de betekenis krijgt in plaats van een reeks letters. Niets in dat signaal zegt 'b, dan a, dan k'. Uit Google's Imagen-onderzoek uit 2022 bleek dat een grote bevroren T5-taalmodel-encoder het volgen van prompts verbeterde, en dat de voorbeelden de tekst merkbaar beter weergaven. Een vervolgonderzoek van Google naar karakterbewuste modellen toonde aan dat encoders op byteniveau, zoals ByT5, die individuele karakters zien, veel beter spellen. Resolutie was ook van belang. Kleine letters bezetten heel weinig cellen in een gecomprimeerde latente letter, waardoor fijne streken vervagen. Trainingsgegevens vormden een andere limiet. Bijschriften schreven zelden de tekst die zichtbaar is in een afbeelding, dus het model kon geen woorden aan lettervormen koppelen. De vooruitgang kwam uit verschillende richtingen. DeepFloyd IF en Stable Diffusion 3 koppelden hun beeldmodellen aan T5-encoders. Onderzoekssystemen zoals TextDiffuser en GlyphControl gaven het model expliciete lay-outs of vooraf gerenderde letterafbeeldingen om te volgen. Producten zoals Ideogram, DALL-E 3 en latere autoregressieve beeldgeneratoren maakten een leesbare tekstroutine, geholpen door trainingsbijschriften die de woorden bevatten die in de afbeelding worden weergegeven. Een misvatting is dat moderne modellen letters uit een lettertypebestand lezen. Ze genereren nog steeds letters als pixels, waardoor lange passages, zeldzame woorden en kleine lettertjes nog steeds fout gaan.
Een vroege Stable Diffusion-prompt voor een bakkerijbord met de tekst 'Vers brood' retourneert letterachtige kronkels zoals 'FRESSH BRAED', omdat het model weet dat op borden tekst staat, maar niet hoe deze moet worden gespeld.
Een marketeer die een nieuwer model gebruikt, houdt de kop van een poster op drie korte woorden tussen aanhalingstekens en krijgt binnen de eerste paar pogingen de juiste spelling.
Een ontwerper genereert een illustratie zonder tekst en voegt vervolgens de echte letters toe aan een opmaakprogramma, zodat het lettertype, de spatiëring en de spelling exact zijn.
Een gebruiker corrigeert één verkeerd gespeld woord op een gegenereerde winkelpui door dat gebied te maskeren en het met het juiste woord in te schilderen.
Toonaangevende modellen kunnen nu betrouwbaar omgaan met korte koppen en tekens, en de moeilijkere problemen zijn verplaatst naar langere passages, meertalige scripts, consistente lettertypen in een reeks en nauwkeurige tekst in video. Scripts met duizenden tekens, zoals het Chinees, of met complexe letterverbindingen, zoals het Arabisch, zijn historisch gezien achtergebleven bij het Engels, en de voortgang hangt af van trainingsgegevens in die talen. Leesbare gegenereerde tekst geeft ook aanleiding tot zorgen over misbruik, omdat realistische nepdocumenten, betalingsbewijzen en schermafbeeldingen gemakkelijker te maken worden. Dat maakt watermerken en herkomstaanduiding belangrijker.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
AI-beeldgeneratoren produceerden vroeger onleesbare tekst omdat hun tekstencoders, zoals CLIP, prompts omzetten in subwoordtokens die de algemene betekenis vastleggen, maar niet de spelling per letter, waardoor het beeldmodel geen precies signaal over lettervormen had. Leesbare letters zijn mogelijk gemaakt door tekstencoders met grotere taalmodellen, karakterbewuste encoders, tekstgerichte trainingsgegevens en nieuwe architecturen. Dat is belangrijk voor iedereen die posters, logo's, memes of verpakkingsmodellen maakt.
Een woord als 'bakkerij' kan één token worden, zodat het beeldmodel zijn betekenis krijgt, maar geen informatie over de afzonderlijke letters.
Encoders op byteniveau maken elk teken zichtbaar, waardoor het afbeeldingsmodel de informatie per letter krijgt die subwoordtokens verbergen.
Letters worden gedefinieerd door precieze vormen, dus een kleine verandering, zoals het veranderen van een 'e' in een 'c', breekt het woord.
Als een bijschrift nooit zegt wat er op een bord staat, kan het model die woorden niet verbinden met de letters die het ziet.
Ze gaven ruimtelijke begeleiding over waar elk personage naartoe gaat en hoe het eruit ziet, en het model volgde die begeleiding tijdens het genereren.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Afbeelding van tekst naar afbeelding
Visuele AI