Il prossimoProssima guida
Codifica coppia di byte
Intelligenza artificiale linguistica
GUIDA TECNICA
La tokenizzazione divide il testo nelle piccole unità effettivamente lette da un modello linguistico e la codifica Byte Pair Encoding (BPE) è il metodo popolare per costruire quel vocabolario.
Ascolta questa guidaNarrato dall'IA · ~2 min
Bilancia l'avere un vocabolario gestibile con la gestione di qualsiasi parola che il modello potrebbe incontrare.
I modelli linguistici non vedono caratteri grezzi o parole intere: vedono token, ID interi mappati su porzioni di testo. Scegliere questi pezzi è un compromesso: i vocabolari a livello di parola sono enormi e sono soffocati da parole invisibili o scritte in modo errato, mentre quelli a livello di carattere rendono le sequenze molto lunghe. La codifica della coppia di byte rappresenta una via di mezzo. Preso in prestito da un algoritmo di compressione dei dati degli anni '90, BPE inizia da singoli caratteri (o byte grezzi) e unisce ripetutamente la coppia adiacente più frequente in un nuovo token, ampliando il vocabolario verso sottoparole comuni. Le parole frequenti diventano singoli token, mentre le parole rare si dividono in frammenti riutilizzabili. Il BPE a livello di byte, utilizzato dai modelli GPT, opera su byte grezzi in modo da poter rappresentare qualsiasi testo Unicode, inclusi emoji e qualsiasi lingua, senza errori fuori dal vocabolario.
I modelli GPT e Llama utilizzano tokenizzatori in stile BPE per trasformare i prompt negli ID token elaborati dalla rete.
I prezzi delle API e i limiti della finestra di contesto sono misurati in token, quindi la tokenizzazione influisce direttamente sui costi e sulla quantità di testo che si adatta.
Gestire emoji, codice e parole rare con garbo suddividendoli in sottoparole o frammenti di byte riutilizzabili.
Supporto di molte lingue in un unico modello senza un dizionario separato per lingua, tramite codifica a livello di byte.
La tokenizzazione è in fase di ripensamento attivo. I modelli a livello di byte e di carattere come ByT5 e le architetture emergenti senza token o "latenti di byte" mirano a eliminare completamente i vocabolari fissi in modo che i modelli gestiscano qualsiasi input e qualsiasi linguaggio in modo uniforme. I ricercatori stanno anche affrontando l’equità della tokenizzazione: molte lingue diverse dall’inglese e con poche risorse attualmente costano molti più token per frase, aumentando i prezzi e restringendo il contesto effettivo. Aspettatevi tokenizzatori ottimizzati per codice, matematica e equilibrio multilingue, oltre a continui esperimenti per riportare il confine verso i byte grezzi.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
La tokenizzazione divide il testo nelle piccole unità effettivamente lette da un modello linguistico e la codifica Byte Pair Encoding (BPE) è il metodo popolare per costruire quel vocabolario. Bilancia l'avere un vocabolario gestibile con la gestione di qualsiasi parola che il modello potrebbe incontrare.
I modelli operano su token (ID interi che rappresentano caratteri, sottoparole o parole) anziché su stringhe di testo non elaborate.
BPE parte da caratteri o byte e unisce avidamente le coppie adiacenti più frequenti, formando gradualmente token di sottoparole comuni.
I vocabolari a livello di parola falliscono su parole invisibili; la tokenizzazione delle sottoparole suddivide le parole rare in parti conosciute, evitando problemi di esaurimento del vocabolario e mantenendo il vocabolario gestibile.
Operare su byte grezzi significa che ogni possibile input può essere codificato, quindi non ci sono caratteri veramente sconosciuti indipendentemente dalla lingua o dal simbolo.
La tokenizzazione delle sottoparole può suddividere una singola parola in più frammenti ed è sensibile alla spaziatura e alle maiuscole, quindi il conteggio dei token raramente equivale al conteggio delle parole.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Codifica coppia di byte
Intelligenza artificiale linguistica