Tokenizzazione
La tokenizzazione è il passaggio che taglia il testo in pezzi più piccoli chiamati token, le unità che un modello linguistico effettivamente legge e prevede.
Panoramica
It quietly shapes cost, context limits, and even how well a model handles spelling and rare words.
Immersione profonda
Prima che un modello veda il tuo testo, un tokenizzatore lo divide in token, che di solito sono blocchi di sottoparole anziché parole intere o singole lettere. La parola "infelicità" potrebbe diventare "un", "felicità" o "tokenizzazione" potrebbe dividersi in "token" e "izzazione". Le parole comuni spesso si associano a un singolo token, mentre le parole, i nomi o il codice rari si dividono in più token. Ogni token viene quindi mappato su un numero ID che il modello converte in un vettore. Ciò è importante in pratica perché i modelli hanno finestre di contesto fisse misurate in token e le API fatturano per token, quindi una regola pratica inglese approssimativa è di circa 4 caratteri o 0,75 parole per token. La tokenizzazione spiega anche le peculiarità del modello classico: contare le lettere o eseguire l'ortografia esatta è difficile perché il modello vede blocchi, non singoli caratteri.
Approfondimento tecnico
La maggior parte dei LLM moderni utilizza la tokenizzazione delle sottoparole come Byte Pair Encoding (BPE) o le sue varianti a livello di byte. BPE inizia dai caratteri e unisce ripetutamente le coppie adiacenti più frequenti per costruire un vocabolario fisso (spesso da 30.000 a 100.000+ token). Ciò bilancia due estremi: la tokenizzazione a livello di parola non può gestire parole invisibili, mentre a livello di carattere rende le sequenze molto lunghe. Le sottoparole consentono al modello di rappresentare qualsiasi stringa, inclusi errori di battitura e nuove parole, componendo pezzi noti, mantenendo le sequenze ragionevolmente brevi.
Impatto strategico
Decisioni più chiare
Ti aiuta a separare le chiare affermazioni tecniche dal linguaggio di marketing.
Costo e budget
Puoi porre domande sull'implementazione migliore prima di spendere denaro o tempo.
Team e flusso di lavoro
I team con una comprensione condivisa prendono decisioni migliori su prodotti, politiche e apprendimento.
Il futuro della tokenizzazione
La tokenizzazione è un’area di ricerca attiva proprio perché limita l’efficienza e l’equità. Le lingue che vengono tokenizzate in più parti costano di più e consumano il contesto più velocemente, quindi l’equità multilingue è una vera preoccupazione da affrontare con vocabolari migliori e più equilibrati. I ricercatori stanno anche esplorando modelli senza token o a livello di byte (come ByT5) e la tokenizzazione appresa che potrebbe rimuovere completamente il fragile passaggio messo a punto manualmente. Per ora, aspettatevi vocabolari più ampi, tokenizzatori multilingue più intelligenti e una crescente consapevolezza degli utenti sui prezzi basati sui token e sul budget contestuale.
Implementazione nel mondo reale
I prezzi API per modelli come GPT e Claude vengono fatturati per token di input e output, pertanto il conteggio dei token influisce direttamente sui costi.
I limiti della finestra di contesto (ad esempio, token 128K o 200K) vengono misurati in token, limitando la quantità di testo o codice che puoi includere.
Gli sviluppatori utilizzano tokenizzatori (come tiktoken) per stimare le dimensioni dei prompt e tagliare i contenuti prima di inviare le richieste.
La tokenizzazione spiega perché i modelli hanno difficoltà a contare le lettere in una parola o a invertire una stringa, poiché vedono blocchi di sottoparole, non caratteri.
Rischi e guardrail
Team diversi possono utilizzare lo stesso termine in modo diverso, quindi definisci l'ambito in anticipo.
I benchmark possono sembrare solidi mentre le prestazioni nel mondo reale non sono uniformi.
Ignorare la qualità dei dati e i piani di valutazione spesso crea risultati fragili.
Tabella di marcia per l'implementazione
Inizia con una definizione in linguaggio semplice del risultato di cui hai bisogno.
Scegli una metrica di successo e una condizione di fallimento prima del test.
Esegui un piccolo progetto pilota con dati rappresentativi, non un set demo raffinato.
Documenta dove la tokenizzazione aiuta e dove i metodi più semplici sono migliori.
Continua a esplorare
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Tokenization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Prossima guida
Tokenizzazione del pezzo di frase
Domande frequenti
What is Tokenization?
La tokenizzazione è il passaggio che taglia il testo in pezzi più piccoli chiamati token, le unità che un modello linguistico effettivamente legge e prevede. Definisce silenziosamente i costi, i limiti del contesto e persino il modo in cui un modello gestisce l'ortografia e le parole rare.
Cos'è un "token" nel contesto di un modello linguistico?
I token sono le unità che un modello elabora, solitamente blocchi di sottoparole, a volte parole intere o singoli caratteri.
Quale approccio di tokenizzazione utilizza la maggior parte dei LLM moderni?
I metodi delle sottoparole come BPE uniscono coppie di caratteri frequenti, bilanciando i punti deboli degli approcci a livello di parola pura e a livello di carattere.
Perché la tokenizzazione rende difficili per i LLM compiti come contare le lettere in una parola?
Poiché il testo è raggruppato in token di sottoparole, il modello non percepisce direttamente ogni carattere, rendendo le attività a livello di lettera soggette a errori.
Perché la tokenizzazione è importante per i costi dell'API e i limiti di contesto?
I fornitori fatturano per token e le finestre di contesto sono dimensionate in token, quindi il conteggio dei token determina sia il prezzo che quanto puoi includere.
Perché la stessa frase può costare più gettoni in alcune lingue che in inglese?
I vocabolari formati principalmente sull’inglese dividono le altre lingue in più token, aumentando i costi e consumando il contesto più velocemente.