Gids voor de samenleving

Tokenisatie-verschillen tussen talen

Verschillen in tokenisatie betekenen dat hetzelfde bericht in sommige talen veel meer tokens kan bevatten dan in het Engels, omdat de meeste tokenizers zijn opgebouwd uit tekst die voornamelijk Engels is.

Luister naar deze gidsAI-verteld · ~3 min

Op deze pagina4 minuten lezen
  1. Overzicht
  2. Diepe duik
  3. Implementatie in de echte wereld
  4. De toekomst van de verschillen in tokenisatie tussen talen
  5. Het in de praktijk brengen
  6. Blijf verkennen
  7. Veelgestelde vragen

Overzicht

Omdat AI-diensten per token rekenen en beperken hoeveel tokens er in een contextvenster passen, kunnen sprekers van die talen meer betalen, minder tekst passen en langer wachten op hetzelfde werk. Dat maakt het ontwerpen van tokenizers zowel een eerlijkheidsprobleem als een technisch probleem.

Diepe duik

Een tokenizer leert welke stukjes tekst als afzonderlijke tokens moeten worden behandeld door een trainingscorpus te bestuderen. Gemeenschappelijke strings krijgen hun eigen tokens; zeldzame strings worden in kleinere stukken opgesplitst, soms tot individuele bytes. Wanneer dat corpus wordt gedomineerd door het Engels en een paar andere talen met veel hulpbronnen, krijgen die talen efficiënte tokens voor hele woorden en gewone woorddelen. Talen die minder vaak voorkomen, of die scripts gebruiken waarbij elk teken meerdere bytes in beslag neemt in UTF-8-codering, zoals veel Zuid-Aziatische, Zuidoost-Aziatische en Afrikaanse scripts, worden in veel meer stukken opgesplitst. Het effect is meetbaar. Uit onderzoek dat in 2023 werd gepubliceerd, waaronder werk van Petrov en collega's over de oneerlijkheid van tokenizers, bleek dat vertalingen van dezelfde tekst in sommige talen meerdere malen meer tokens nodig hadden dan in het Engels, waarbij de grootste verschillen voor bepaalde talen en tokenizers meer dan tien keer zo groot waren. Dit is op drie concrete manieren van belang. Kosten: API-prijzen gelden per token, dus een langere tokentelling is een directe prijsverhoging voor dezelfde inhoud. Context: een vast contextvenster bevat minder daadwerkelijke tekst, waardoor documenten moeten worden ingekort en gesprekken eerder verloren gaan. Snelheid en kwaliteit: meer tokens betekent meer generatiestappen, en zware fragmentatie kan het voor het model moeilijker maken om goede representaties van woorden te leren, wat kan bijdragen aan zwakkere prestaties in die talen. Aanbieders hebben gedeeltelijk gereageerd. Toen OpenAI in 2024 GPT-4o uitbracht, introduceerde het een grotere tokenizer en zei dat het minder tokens gebruikte voor veel niet-Engelse talen. Grotere woordenschat en evenwichtiger trainingsgegevens helpen, maar kunnen de kloof niet geheel wegnemen. Een veel voorkomende misvatting is dat sommige talen gewoonweg woordenrijker zijn. Vertalingen verschillen in lengte, maar de grote gaten in de token komen vooral voort uit de manier waarop de tokenizer is gebouwd, en niet uit de talen zelf.

Implementatie in de echte wereld

Een non-profitorganisatie in de gezondheidszorg vertaalt dezelfde patiëntenbijsluiter in het Engels, Hindi en Amhaars en ontdekt dat de niet-Engelse versies meerdere malen meer tokens gebruiken, waardoor de API-rekening voor die talen veel hoger is.

Een chatbot voor Birmese sprekers bereikt de contextlimiet na veel minder gespreksbeurten dan de Engelse versie, waardoor hij eerdere berichten eerder vergeet.

Een ontwikkelaar controleert een Koreaans ondersteuningsartikel met een tokenizer-viewer en ziet dat veel woorden in korte fragmenten zijn opgesplitst, terwijl het Engelse origineel meestal betrekking heeft op één token per woord.

Een onderzoeksteam vergelijkt een oudere en een nieuwere tokenizer van dezelfde provider en ontdekt dat de nieuwere merkbaar minder tokens gebruikt voor hun Arabische en Tamil-documenten.

De toekomst van de verschillen in tokenisatie tussen talen

De woordenschat van Tokenizer is gegroeid en verschillende aanbieders publiceren nu verbeteringen voor niet-Engelse tekst, dus de kloof zal waarschijnlijk steeds kleiner worden voor veel gesproken talen. Talen met weinig hulpmiddelen kunnen achterblijven, tenzij trainingsgegevens en tokenizer-ontwerp deze bewust opnemen. Onderzoek naar modellen op byteniveau en dynamisch gegroepeerde modellen zou de afhankelijkheid van een vast vocabulaire kunnen verminderen, hoewel deze ontwerpen hun eigen rekenkosten met zich meebrengen. Voorlopig moeten organisaties die een meertalig publiek bedienen het aantal tokens meten in elke taal die zij ondersteunen en de kosten en contextlimieten per taal behandelen als onderdeel van de toegankelijkheidsplanning.

Het in de praktijk brengen

Waarom het ertoe doet

  • Risico en veiligheid. Catastrofale en alledaagse schade door AI hangt af van wie de risico's begrijpt en wie kan handelen.
  • Duidelijkere beslissingen. Publieke en professionele geletterdheid bepalen of een krachtig veiligheidsbeleid politiek mogelijk is.
  • Door de hype heen snijden. Duidelijke verklaringen verminderen de kans op hypes, laboratorium-PR en vaag ethisch theater.

Pas op voor

  • Existentieel risico behandelen als sciencefiction, terwijl capaciteiten zich vermenigvuldigen.
  • De veiligheid van oppervlakteproducten verwarren met uitlijning onder hoge autonomie.
  • Hierdoor blijven niet-Engelstalige en niet-deskundige doelgroepen alleen bronnen van lage kwaliteit over.

Volgende stappen

  1. Afzonderlijke risico's voor productschade, misbruik en verlies van controle/verkeerde uitlijning.
  2. Vraag welk bewijs uw kijk op tijdlijnen en ernst zou veranderen.
  3. Geef de voorkeur aan primaire bronnen en concrete evaluaties boven marketingclaims.
  4. Identificeer één actiepad: carrière, beleid, financiering of vaardigheden – niet alleen bewustwording.

Blijf verkennen

Gratis nieuwsbrief

Ontvang de dagelijkse AI-briefing

Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.

Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.

Test jezelf

Take the Tokenization Disparities Across Languages quiz

Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.

Quiz starten

Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie

Veelgestelde vragen

Wat zijn tokenisatie-verschillen tussen talen?

Verschillen in tokenisatie betekenen dat hetzelfde bericht in sommige talen veel meer tokens kan bevatten dan in het Engels, omdat de meeste tokenizers zijn opgebouwd uit tekst die voornamelijk Engels is. Omdat AI-diensten per token rekenen en beperken hoeveel tokens er in een contextvenster passen, kunnen sprekers van die talen meer betalen, minder tekst passen en langer wachten op hetzelfde werk. Dat maakt het ontwerpen van tokenizers zowel een eerlijkheidsprobleem als een technisch probleem.

Wat is de belangrijkste oorzaak van de grote verschillen in het aantal tokens tussen talen?

Tokenizers geven efficiënte tokens aan strings die gebruikelijk zijn in hun trainingscorpus. Ondervertegenwoordigde talen worden opgesplitst in meer, kleinere stukken.

Waarom produceren scripts als Devanagari of Thai vaak meer tokens onder op bytes gebaseerde tokenizers?

Elk teken in deze scripts bestaat uit verschillende UTF-8-bytes. Als de tokenizer deze bytereeksen zelden samenvoegt, kan één teken meerdere tokens worden.

Welke van deze is NIET een van de drie effecten van hogere tokenaantallen die in de gids worden genoemd?

De gids vermeldt de kosten, contextruimte en snelheid of kwaliteit. Automatische weigering is geen gevolg van het aantal tokens.

Wat betekent de term vruchtbaarheid in deze context?

Vruchtbaarheid meet tokens per woord. Een hogere vruchtbaarheid betekent dat tekst in meer stukken wordt opgesplitst en meer kost.

Welke verandering beschreef OpenAI toen GPT-4o in 2024 werd uitgebracht?

GPT-4o werd geleverd met een tokenizer met een grotere woordenschat waarvan OpenAI zei dat deze efficiënter was voor veel niet-Engelse talen.