Il prossimoProssima guida
Tokenizzazione delle sottoparole
Intelligenza artificiale linguistica
GUIDA ALL'AI linguistica
SentencePiece è un tokenizzatore indipendente dal linguaggio che impara a dividere il testo grezzo in parti di sottoparole direttamente dai dati, senza fare affidamento sugli spazi.
Ascolta questa guidaNarrato dall'IA · ~2 min
It made multilingual models far easier to build by treating any language the same way.
La maggior parte dei tokenizzatori presuppone che le parole siano separate da spazi, il che non funziona per lingue come giapponese, cinese o tailandese che non li utilizzano. SentencePiece, rilasciato da Google nel 2018, elude questo problema trattando l'input come un flusso grezzo di caratteri (spazi inclusi) e apprendendo un vocabolario di unità di sottoparole dai dati stessi. Sostituisce notoriamente gli spazi con un indicatore visibile (il meta simbolo simile al carattere di sottolineatura) quindi la tokenizzazione è completamente reversibile: puoi sempre ricostruire l'esatto testo originale. SentencePiece supporta due algoritmi principali, Byte-Pair Encoding (BPE) e il modello linguistico Unigram, quest'ultimo è il suo metodo di firma. Poiché non necessita di pre-tokenizzazione specifica della lingua, la stessa pipeline funziona in centinaia di lingue, motivo per cui modelli come T5, ALBERT e molti sistemi multilingue si basano su di essa.
Il modello T5 di Google, che utilizza un vocabolario SentencePiece addestrato su testo web multilingue.
Tokenizzazione di testo giapponese o cinese senza spazi tra le parole, dove i tokenizzatori basati su parole falliscono.
Costruire un unico vocabolario condiviso in oltre 100 lingue per un sistema di traduzione multilingue.
Ricostruire senza perdita l'input originale (inclusa la spaziatura) dai token, utile per la generazione di codice dove gli spazi bianchi sono importanti.
SentencePiece rimane un cavallo di battaglia per modelli multilingue e di codice grazie alla sua reversibilità e neutralità linguistica. Il campo sta gradualmente esplorando approcci a livello di byte e senza tokenizzatore che saltano completamente i vocabolari delle sottoparole, con l’obiettivo di rimuovere le stranezze della tokenizzazione che danneggiano l’aritmetica, le lingue rare e i numeri lunghi. Anche così, i progetti Unigram e byte-fallback di SentencePiece continuano a influenzare i tokenizzatori più recenti e la sua filosofia senza perdita di dati, treno da testo non elaborato, rimarrà fondamentale per il prossimo futuro.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
SentencePiece è un tokenizzatore indipendente dal linguaggio che impara a dividere il testo grezzo in parti di sottoparole direttamente dai dati, senza fare affidamento sugli spazi. Ha reso i modelli multilingue molto più facili da costruire trattando qualsiasi lingua allo stesso modo.
SentencePiece tratta l'input come un flusso di caratteri grezzi, quindi funziona anche per le lingue senza spazi tra le parole.
Codificare gli spazi come marcatore visibile significa che il testo originale, compresa la spaziatura, può sempre essere ricostruito esattamente.
SentencePiece offre Byte-Pair Encoding (BPE) e un modello linguistico Unigram, con Unigram come metodo di firma.
Unigram inizia con molti pezzi candidati e rimuove in modo iterativo quelli che contribuiscono meno alla verosimiglianza del corpus utilizzando la massimizzazione delle aspettative.
Il T5 di Google utilizza un vocabolario SentencePiece, così come ALBERT e molti modelli multilingue.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Tokenizzazione delle sottoparole
Intelligenza artificiale linguistica