Disparidades de tokenización entre idiomas

Un tokenizador aprende qué fragmentos de texto tratar como tokens únicos mediante el estudio de un corpus de entrenamiento. Las cadenas comunes obtienen sus propios tokens; Las cadenas raras se dividen en pedazos más pequeños, a veces hasta llegar a bytes individuales. Cuando ese corpus está dominado por el inglés y algunos otros idiomas de altos recursos, esos idiomas obtienen tokens eficientes para palabras completas y partes de palabras comunes. Los idiomas que aparecen con menos frecuencia, o que utilizan secuencias de comandos en las que cada carácter ocupa varios bytes en codificación UTF-8, como muchas secuencias de comandos del sur de Asia, el sudeste asiático y África, se dividen en muchas más partes. El efecto es mensurable. Una investigación publicada en 2023, que incluye el trabajo de Petrov y sus colegas sobre la injusticia de los tokenizadores, encontró que las traducciones del mismo texto podrían necesitar varias veces más tokens en algunos idiomas que en inglés, y las brechas más grandes superan diez veces para ciertos idiomas y tokenizadores. Esto importa de tres maneras concretas. Costo: el precio de la API es por token, por lo que un recuento de tokens mayor es un aumento de precio directo para el mismo contenido. Contexto: una ventana de contexto fijo contiene menos texto real, por lo que los documentos deben reducirse y las conversaciones pierden el turno antes. Velocidad y calidad: más tokens significan más pasos de generación, y una fuerte fragmentación puede dificultar que el modelo aprenda buenas representaciones de palabras, lo que puede contribuir a un rendimiento más débil en esos idiomas. Los proveedores han respondido en parte. Cuando OpenAI lanzó GPT-4o en 2024, introdujo un tokenizador más grande y dijo que usaba menos tokens para muchos idiomas distintos del inglés. Los vocabularios más amplios y los datos de entrenamiento más equilibrados ayudan, pero no eliminan la brecha por completo. Un error común es pensar que algunos idiomas simplemente tienen más palabras. Las traducciones difieren en longitud, pero las grandes brechas entre los tokens provienen principalmente de cómo se construyó el tokenizador, no de los idiomas en sí.