GUIDA della Società

Disparità di tokenizzazione tra le lingue

Le disparità di tokenizzazione significano che lo stesso messaggio può richiedere molti più token in alcune lingue rispetto all'inglese, perché la maggior parte dei tokenizzatori è stata costruita su testi prevalentemente in inglese.

Ascolta questa guidaNarrato dall'IA · ~3 min

In questa pagina4 minuti di lettura
  1. Panoramica
  2. Immersione profonda
  3. Implementazione nel mondo reale
  4. Il futuro delle disparità di tokenizzazione tra le lingue
  5. Metterlo in pratica
  6. Continua a esplorare
  7. Domande frequenti

Panoramica

Poiché i servizi di IA addebitano per token e limitano quanti token possono entrare in una finestra di contesto, i parlanti di quelle lingue possono pagare di più, inserire meno testo e attendere più a lungo per lo stesso lavoro. Ciò rende la progettazione del tokenizer una questione di equità oltre che tecnica.

Immersione profonda

A tokenizer learns which chunks of text to treat as single tokens by studying a training corpus. Common strings get their own tokens; rare strings are broken into smaller pieces, sometimes down to individual bytes. When that corpus is dominated by English and a few other high-resource languages, those languages get efficient tokens for whole words and common word parts. Languages that appeared less often, or that use scripts where each character takes several bytes in UTF-8 encoding, such as many South Asian, Southeast Asian and African scripts, get split into many more pieces. The effect is measurable. Research published in 2023, including work by Petrov and colleagues on tokenizer unfairness, found that translations of the same text could need several times more tokens in some languages than in English, with the largest gaps exceeding ten times for certain languages and tokenizers. This matters in three concrete ways. Cost: API pricing is per token, so a longer token count is a direct price increase for the same content. Context: a fixed context window holds less actual text, so documents must be cut down and conversations lose earlier turns sooner. Speed and quality: more tokens means more generation steps, and heavy fragmentation can make it harder for the model to learn good representations of words, which may contribute to weaker performance in those languages. Providers have responded partly. When OpenAI released GPT-4o in 2024, it introduced a larger tokenizer and said it used fewer tokens for many non-English languages. Larger vocabularies and more balanced training data help, but they do not remove the gap entirely. A common misconception is that some languages are simply wordier. Translations do differ in length, but the large token gaps come mainly from how the tokenizer was built, not from the languages themselves.

Implementazione nel mondo reale

un'organizzazione sanitaria senza scopo di lucro traduce lo stesso opuscolo per i pazienti in inglese, hindi e amarico e scopre che le versioni non inglesi usano diverse volte più token, quindi la bolletta API per quelle lingue è molto più alta.

Un chatbot per parlanti birmani raggiunge il limite di contesto dopo molti meno turni di conversazione rispetto alla versione inglese, dimenticando così i messaggi precedenti più rapidamente.

Uno sviluppatore controlla un articolo di supporto in coreano con un visualizzatore di tokenizzatore e vede molte parole suddivise in brevi frammenti, mentre l'originale inglese si mappa per lo più a un token per parola.

Un team di ricerca confronta un tokenizer più vecchio e uno più nuovo dello stesso fornitore e scopre che il nuovo utilizza notevolmente meno token per i loro documenti in arabo e tamil.

Il futuro delle disparità di tokenizzazione tra le lingue

I vocabolari dei tokenizer sono cresciuti, e diversi fornitori ora pubblicizzano miglioramenti per testi non inglesi, quindi il divario probabilmente continuerà a ridursi per le lingue ampiamente parlate. Le lingue a risorse limitate potrebbero continuare a rimanere indietro a meno che i dati di addestramento e la progettazione del tokenizer non li includano deliberatamente. La ricerca su modelli a livello di byte e raggruppati dinamicamente potrebbe ridurre la dipendenza da un vocabolario fisso, anche se tali design hanno i propri costi di calcolo. Per ora, le organizzazioni che servono pubblici multilingue dovrebbero misurare i conteggi di token in ogni lingua che supportano e considerare i costi per lingua e i limiti di contesto come parte della pianificazione dell'accessibilità.

Metterlo in pratica

Perché è importante

  • Rischio e sicurezza. I danni catastrofici e quotidiani dell’IA dipendono entrambi da chi comprende i rischi e da chi può agire.
  • Decisioni più chiare. L’alfabetizzazione pubblica e professionale determina la possibilità politica di una forte politica di sicurezza.
  • Tagliare il clamore. Spiegazioni chiare riducono la cattura da parte di montature pubblicitarie, PR di laboratorio e vaghi teatrini etici.

Attenzione

  • Trattare il rischio esistenziale come fantascienza mentre le capacità si aggravano.
  • Confondere la sicurezza del prodotto superficiale con l'allineamento in condizioni di elevata autonomia.
  • Lasciando il pubblico non inglese e non esperto solo con fonti di bassa qualità.

Prossimi passi

  1. Separare i rischi di danni al prodotto, uso improprio e perdita di controllo/disallineamento.
  2. Chiedi quali prove cambierebbero la tua opinione sulle tempistiche e sulla gravità.
  3. Preferire fonti primarie e valutazioni concrete alle affermazioni di marketing.
  4. Identifica un percorso d’azione: carriera, politica, finanziamenti o competenze, non solo consapevolezza.

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Fai il quiz sulle Disparità di Tokenizzazione tra Lingue

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

Che cosa sono le Disparità di Tokenizzazione tra Lingue?

Le disparità di tokenizzazione significano che lo stesso messaggio può richiedere molti più token in alcune lingue rispetto all'inglese, perché la maggior parte dei tokenizzatori è stata costruita a partire da testi prevalentemente in inglese. Poiché i servizi di IA addebitano per token e limitano quanti token possono entrare in una finestra di contesto, i parlanti di quelle lingue possono pagare di più, inserire meno testo e attendere più a lungo per lo stesso lavoro. Questo rende la progettazione del tokenizzatore una questione di equità oltre che tecnica.

Qual è la causa principale dei grandi divari nel conteggio dei token tra le lingue?

I tokenizzatori assegnano token efficienti alle stringhe comuni nel loro corpus di addestramento. Le lingue poco rappresentate vengono suddivise in più pezzi più piccoli.

Perché script come Devanagari o Thai producono spesso più token con tokenizzatori basati su byte?

Ogni carattere in questi script è composto da diversi byte UTF-8. Se il tokenizzatore raramente unisce quelle sequenze di byte, un carattere può diventare più token.

Quale di queste NON è una delle tre conseguenze dei conteggi di token più alti indicate nella guida?

La guida elenca costo, spazio di contesto e velocità o qualità. Il rifiuto automatico non è una conseguenza del conteggio dei token.

Cosa significa il termine fertilità in questo contesto?

La fertilità misura i token per parola. Una fertilità più alta significa che il testo è suddiviso in più pezzi e costa di più.

Quale cambiamento ha descritto OpenAI quando ha rilasciato GPT-4o nel 2024?

GPT-4o è arrivato con un tokenizzatore a vocabolario più ampio che OpenAI ha detto essere più efficiente per molte lingue non inglesi.