Il prossimoProssima guida
Bias di genere nei modelli linguistici
Società
GUIDA della Società
Le disparità di tokenizzazione significano che lo stesso messaggio può richiedere molti più token in alcune lingue rispetto all'inglese, perché la maggior parte dei tokenizzatori è stata costruita su testi prevalentemente in inglese.
Ascolta questa guidaNarrato dall'IA · ~3 min
Poiché i servizi di IA addebitano per token e limitano quanti token possono entrare in una finestra di contesto, i parlanti di quelle lingue possono pagare di più, inserire meno testo e attendere più a lungo per lo stesso lavoro. Ciò rende la progettazione del tokenizer una questione di equità oltre che tecnica.
A tokenizer learns which chunks of text to treat as single tokens by studying a training corpus. Common strings get their own tokens; rare strings are broken into smaller pieces, sometimes down to individual bytes. When that corpus is dominated by English and a few other high-resource languages, those languages get efficient tokens for whole words and common word parts. Languages that appeared less often, or that use scripts where each character takes several bytes in UTF-8 encoding, such as many South Asian, Southeast Asian and African scripts, get split into many more pieces. The effect is measurable. Research published in 2023, including work by Petrov and colleagues on tokenizer unfairness, found that translations of the same text could need several times more tokens in some languages than in English, with the largest gaps exceeding ten times for certain languages and tokenizers. This matters in three concrete ways. Cost: API pricing is per token, so a longer token count is a direct price increase for the same content. Context: a fixed context window holds less actual text, so documents must be cut down and conversations lose earlier turns sooner. Speed and quality: more tokens means more generation steps, and heavy fragmentation can make it harder for the model to learn good representations of words, which may contribute to weaker performance in those languages. Providers have responded partly. When OpenAI released GPT-4o in 2024, it introduced a larger tokenizer and said it used fewer tokens for many non-English languages. Larger vocabularies and more balanced training data help, but they do not remove the gap entirely. A common misconception is that some languages are simply wordier. Translations do differ in length, but the large token gaps come mainly from how the tokenizer was built, not from the languages themselves.
un'organizzazione sanitaria senza scopo di lucro traduce lo stesso opuscolo per i pazienti in inglese, hindi e amarico e scopre che le versioni non inglesi usano diverse volte più token, quindi la bolletta API per quelle lingue è molto più alta.
Un chatbot per parlanti birmani raggiunge il limite di contesto dopo molti meno turni di conversazione rispetto alla versione inglese, dimenticando così i messaggi precedenti più rapidamente.
Uno sviluppatore controlla un articolo di supporto in coreano con un visualizzatore di tokenizzatore e vede molte parole suddivise in brevi frammenti, mentre l'originale inglese si mappa per lo più a un token per parola.
Un team di ricerca confronta un tokenizer più vecchio e uno più nuovo dello stesso fornitore e scopre che il nuovo utilizza notevolmente meno token per i loro documenti in arabo e tamil.
I vocabolari dei tokenizer sono cresciuti, e diversi fornitori ora pubblicizzano miglioramenti per testi non inglesi, quindi il divario probabilmente continuerà a ridursi per le lingue ampiamente parlate. Le lingue a risorse limitate potrebbero continuare a rimanere indietro a meno che i dati di addestramento e la progettazione del tokenizer non li includano deliberatamente. La ricerca su modelli a livello di byte e raggruppati dinamicamente potrebbe ridurre la dipendenza da un vocabolario fisso, anche se tali design hanno i propri costi di calcolo. Per ora, le organizzazioni che servono pubblici multilingue dovrebbero misurare i conteggi di token in ogni lingua che supportano e considerare i costi per lingua e i limiti di contesto come parte della pianificazione dell'accessibilità.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Le disparità di tokenizzazione significano che lo stesso messaggio può richiedere molti più token in alcune lingue rispetto all'inglese, perché la maggior parte dei tokenizzatori è stata costruita a partire da testi prevalentemente in inglese. Poiché i servizi di IA addebitano per token e limitano quanti token possono entrare in una finestra di contesto, i parlanti di quelle lingue possono pagare di più, inserire meno testo e attendere più a lungo per lo stesso lavoro. Questo rende la progettazione del tokenizzatore una questione di equità oltre che tecnica.
I tokenizzatori assegnano token efficienti alle stringhe comuni nel loro corpus di addestramento. Le lingue poco rappresentate vengono suddivise in più pezzi più piccoli.
Ogni carattere in questi script è composto da diversi byte UTF-8. Se il tokenizzatore raramente unisce quelle sequenze di byte, un carattere può diventare più token.
La guida elenca costo, spazio di contesto e velocità o qualità. Il rifiuto automatico non è una conseguenza del conteggio dei token.
La fertilità misura i token per parola. Una fertilità più alta significa che il testo è suddiviso in più pezzi e costa di più.
GPT-4o è arrivato con un tokenizzatore a vocabolario più ampio che OpenAI ha detto essere più efficiente per molte lingue non inglesi.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Bias di genere nei modelli linguistici
Società