Tokenización de Wordpiece
WordPieza es el algoritmo de tokenización de subpalabras que impulsa BERT y muchos modelos Google, dividiendo palabras en fragmentos reutilizables para que un modelo pueda manejar cualquier texto con un vocabulario fijo.
Descripción general
It is why a model that has never seen 'unhappiness' can still understand it by reading 'un', '##happy', and '##ness'.
Buceo profundo
WordPieza crea un vocabulario de unidades de subpalabras en lugar de palabras completas o caracteres individuales. A partir de caracteres individuales, fusiona con avidez el par de símbolos que más aumenta la probabilidad del corpus de entrenamiento, repitiendo hasta alcanzar un tamaño de vocabulario objetivo (BERT utiliza alrededor de 30.000 tokens). En la inferencia, tokeniza con avidez de izquierda a derecha, haciendo coincidir la subpalabra más larga del vocabulario y luego continúa con el resto. Las piezas de continuación dentro de una palabra están marcadas con un prefijo '##', por lo que 'playing' se convierte en 'play' + '##ing'. Esto resuelve el problema de la falta de vocabulario: las palabras raras o invisibles simplemente se descomponen en fragmentos conocidos, hasta caracteres únicos si es necesario, mientras que las palabras comunes permanecen como tokens únicos para mayor eficiencia.
Información técnica
WordPiece se diferencia de la codificación de pares de bytes en su criterio de fusión. BPE fusiona el par adyacente más frecuente; WordPieza fusiona el par que maximiza la probabilidad de los datos de entrenamiento, eligiendo aproximadamente el par cuya frecuencia conjunta excede más el producto de las frecuencias de sus partes. El marcador '##' distingue las piezas iniciales de las palabras de las continuaciones, lo que permite que el tokenizador reconstruya los límites de las palabras sin ambigüedades al decodificarlas en texto.
Impacto Estratégico
Speed and scale
Los flujos de trabajo lingüísticos pueden avanzar más rápido sin sacrificar la coherencia.
Access and reach
Amplía el acceso a través de idiomas y estilos de comunicación.
Decisiones más claras
Los equipos pueden dedicar más tiempo a juzgar mientras la automatización se encarga de la repetición.
El futuro de la tokenización de WordPieza
Los modelos de lenguajes grandes más nuevos favorecen cada vez más los modelos de unigramas BPE (familia GPT) o SentencePiece a nivel de bytes, que evitan el preprocesamiento específico del lenguaje y manejan cualquier entrada Unicode. WordPieza sigue siendo fundamental en los codificadores derivados de BERT que aún se utilizan ampliamente para búsqueda y clasificación. Espere un uso continuo en la producción de PNL, junto con la investigación sobre modelos de caracteres y bytes sin tokenizadores que eventualmente pueden reducir por completo la dependencia de vocabularios de subpalabras fijas.
Implementación en el mundo real
BERT tokeniza las consultas de búsqueda en Google Search, dividiendo términos desconocidos en subpalabras para que el modelo aún pueda coincidir con páginas relevantes.
BertTokenizer de Hugging Face utiliza WordPieza para convertir texto sin formato en ID de token enviados a BERT para análisis de sentimientos y reconocimiento de entidades nombradas.
BERT multilingüe utiliza un vocabulario de WordPieza compartido en más de 100 idiomas, lo que permite reutilizar fragmentos en scripts relacionados.
DistilBERT y las variantes clínicas/biomédicas de BERT heredan WordPieza, manejando términos médicos raros como "neumonoconiosis" dividiéndolos en partes conocidas.
Riesgos y barandillas
Los hechos alucinados pueden aparecer silenciosamente en informes, flujos de apoyo o resultados de investigaciones.
La sensibilidad rápida puede crear resultados inconsistentes en solicitudes similares.
Los datos de texto confidenciales pueden quedar expuestos si los controles de acceso son débiles.
Hoja de ruta de implementación
Defina el formato de salida, el tono y los estándares de calidad antes del lanzamiento.
Respuestas terrestres con fuentes confiables siempre que la precisión sea importante.
Mantenga un punto de control de revisión humana para los resultados de alto riesgo.
Realice un seguimiento de los patrones de error y vuelva a capacitar las indicaciones o los flujos de trabajo con regularidad.
Sigue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the WordPiece Tokenization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Siguiente guía
Tokenización de subpalabras
Preguntas frecuentes
What is WordPiece Tokenization?
WordPieza es el algoritmo de tokenización de subpalabras que impulsa BERT y muchos modelos Google, dividiendo palabras en fragmentos reutilizables para que un modelo pueda manejar cualquier texto con un vocabulario fijo. Es por eso que un modelo que nunca ha visto la "infelicidad" aún puede entenderla leyendo "infelicidad", "##feliz" y "##ness".
¿Qué indica el prefijo '##' en la salida de WordPieza?
WordPiece marca las continuaciones de las subpalabras con '##', por lo que 'playing' se convierte en 'play' + '##ing', lo que permite que el decodificador reconstruya los límites de las palabras.
¿Aproximadamente qué tamaño tiene el vocabulario de Wordpiece utilizado por el BERT original?
BERT utiliza un vocabulario de WordPiece de aproximadamente 30.000 unidades de subpalabras, equilibrando la cobertura con el tamaño de la tabla de incrustación.
¿En qué se diferencia el criterio de combinación de WordPiece de la codificación de pares de bytes estándar?
BPE fusiona el par adyacente más frecuente, mientras que WordPieza fusiona el par que más aumenta la probabilidad del corpus, favoreciendo los pares cuya frecuencia conjunta excede el producto de sus partes.
¿Cómo maneja WordPiece una palabra que nunca se ve durante el entrenamiento?
Las palabras invisibles se dividen en las subpalabras conocidas más largas y coincidentes, recurriendo a caracteres individuales, lo que resuelve el problema de falta de vocabulario.
En el momento de la inferencia, ¿cómo elige WordPieza cómo dividir una palabra?
WordPieza tokeniza con avidez, haciendo coincidir la entrada de vocabulario más larga comenzando en la posición actual y luego repitiendo en el resto.