Tokenizzazione di WordPiece
WordPiece è l'algoritmo di tokenizzazione delle sottoparole che alimenta BERT e molti modelli Google, suddividendo le parole in frammenti riutilizzabili in modo che un modello possa gestire qualsiasi testo con un vocabolario fisso.
Panoramica
It is why a model that has never seen 'unhappiness' can still understand it by reading 'un', '##happy', and '##ness'.
Immersione profonda
WordPiece costruisce un vocabolario di unità di sottoparole anziché di parole intere o di singoli caratteri. Partendo dai singoli personaggi, unisce avidamente la coppia di simboli che aumenta maggiormente la verosimiglianza del corpus di addestramento, ripetendo fino a raggiungere una dimensione di vocabolario target (BERT utilizza circa 30.000 token). All'inferenza, tokenizza avidamente da sinistra a destra, abbinando la sottoparola più lunga nel vocabolario, quindi continuando con il resto. I pezzi di continuazione all'interno di una parola sono contrassegnati con un prefisso '##', quindi 'playing' diventa 'play' + '##ing'. Ciò risolve il problema del vocabolario insufficiente: le parole rare o invisibili si decompongono semplicemente in frammenti conosciuti, fino a diventare singoli caratteri se necessario, mentre le parole comuni rimangono come singoli simboli di efficienza.
Approfondimento tecnico
WordPiece differisce dalla codifica Byte-Pair nel suo criterio di unione. BPE unisce la coppia adiacente più frequente; WordPiece unisce la coppia che massimizza la verosimiglianza dei dati di addestramento, scegliendo approssimativamente la coppia la cui frequenza congiunta supera maggiormente il prodotto delle frequenze delle sue parti. Il marcatore '##' distingue le parti iniziali delle parole dalle continuazioni, consentendo al tokenizzatore di ricostruire i confini delle parole in modo inequivocabile durante la decodifica in testo.
Impatto strategico
Velocità e scala
I flussi di lavoro linguistici possono muoversi più velocemente senza sacrificare la coerenza.
Accedere e raggiungere
Espande l'accesso attraverso lingue e stili di comunicazione.
Decisioni più chiare
I team possono dedicare più tempo al giudizio mentre l'automazione gestisce la ripetizione.
Il futuro della tokenizzazione di WordPiece
I nuovi modelli linguistici di grandi dimensioni preferiscono sempre più i modelli BPE a livello di byte (famiglia GPT) o unigrammi SentencePiece, che evitano la preelaborazione specifica della lingua e gestiscono qualsiasi input Unicode. WordPiece rimane fondamentale negli encoder derivati da BERT ancora ampiamente utilizzati per la ricerca e la classificazione. Aspettatevi un uso continuato nella PNL di produzione, insieme alla ricerca su modelli di byte e caratteri privi di tokenizer che potrebbero eventualmente ridurre del tutto la dipendenza da vocabolari di sottoparole fissi.
Implementazione nel mondo reale
BERT tokenizza le query di ricerca in Google Search, suddividendo i termini non familiari in sottoparole in modo che il modello possa comunque corrispondere alle pagine pertinenti.
BertTokenizer di Hugging Face utilizza WordPiece per convertire il testo non elaborato negli ID token forniti a BERT per l'analisi del sentiment e il riconoscimento delle entità denominate.
BERT multilingue utilizza un vocabolario WordPiece condiviso in oltre 100 lingue, consentendo di riutilizzare i frammenti tra script correlati.
DistilBERT e le varianti cliniche/biomediche BERT ereditano WordPiece, gestendo termini medici rari come "pneumonoconiosi" suddividendoli in parti conosciute.
Rischi e guardrail
Fatti allucinati possono tranquillamente entrare nei rapporti, nei flussi di supporto o nei risultati della ricerca.
La sensibilità tempestiva può creare risultati incoerenti tra richieste simili.
I dati di testo sensibili potrebbero essere esposti se i controlli di accesso sono deboli.
Tabella di marcia per l'implementazione
Definisci il formato di output, il tono e gli standard di qualità prima dell'implementazione.
Risposte concrete con fonti attendibili ogni volta che la precisione è importante.
Mantenere un checkpoint di revisione umana per i risultati ad alto rischio.
Tieni traccia dei modelli di errore e riqualifica regolarmente le richieste o i flussi di lavoro.
Continua a esplorare
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the WordPiece Tokenization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Prossima guida
Tokenizzazione delle sottoparole
Domande frequenti
What is WordPiece Tokenization?
WordPiece è l'algoritmo di tokenizzazione delle sottoparole che alimenta BERT e molti modelli Google, suddividendo le parole in frammenti riutilizzabili in modo che un modello possa gestire qualsiasi testo con un vocabolario fisso. È per questo che un modello che non ha mai visto il termine "infelicità" può ancora capirlo leggendo "un", "##felice" e "##ness".
Cosa indica il prefisso '##' nell'output di WordPiece?
WordPiece contrassegna le continuazioni delle sottoparole con '##', quindi 'playing' diventa 'play' + '##ing', consentendo al decodificatore di ricostruire i confini delle parole.
Quanto è ampio all'incirca il vocabolario di WordPiece utilizzato dal BERT originale?
BERT utilizza un vocabolario WordPiece di circa 30.000 unità di sottoparole, bilanciando la copertura con le dimensioni della tabella di incorporamento.
In che modo il criterio di unione di WordPiece differisce dalla codifica Byte-Pair standard?
BPE unisce la coppia adiacente più frequente, mentre WordPiece unisce la coppia che aumenta maggiormente la verosimiglianza del corpus, favorendo le coppie la cui frequenza congiunta supera il prodotto delle loro parti.
In che modo WordPiece gestisce una parola mai vista durante l'allenamento?
Le parole invisibili vengono suddivise nelle sottoparole conosciute più lunghe, ricadendo in singoli caratteri, il che risolve il problema del vocabolario insufficiente.
Al momento dell'inferenza, come fa WordPiece a scegliere come dividere una parola?
WordPiece tokenizza avidamente, abbinando la voce di vocabolario più lunga a partire dalla posizione corrente, quindi ripetendo il resto.