Prueba sobre disparidades de tokenización entre idiomas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Cuál es la causa principal de las grandes diferencias en el recuento de tokens entre idiomas?
   • Algunos idiomas tienen naturalmente diez veces más palabras que el inglés.
   • Los tokenizadores se construyeron a partir de textos de entrenamiento dominados por el inglés y algunos otros idiomas.
   • El texto que no está en inglés se comprime antes de tokenizar
   • Los modelos cobran tarifas adicionales por la traducción.
2. ¿Por qué los scripts como Devanagari o Thai suelen producir más tokens en tokenizadores basados en bytes?
   • Sus caracteres suelen ocupar tres bytes cada uno en UTF-8 y rara vez se fusionan.
   • Siempre se escriben sin espacios.
   • Primero se convierten en imágenes.
   • Los tokenizadores los rechazan y los reemplazan por ingleses
3. ¿Cuál de estos NO es uno de los tres efectos de un mayor número de tokens mencionados en la guía?
   • Mayor costo por mensaje
   • Menos ajuste de texto en la ventana contextual.
   • Generación más lenta a partir de más pasos
   • Negativa automática a responder.
4. ¿Qué significa el término fertilidad en este contexto?
   • Qué tan rápido un modelo aprende un nuevo idioma
   • El número promedio de tokens producidos por palabra.
   • El número de idiomas que admite un modelo.
   • El tamaño del conjunto de datos de entrenamiento.
5. ¿Qué cambio describió OpenAI cuando lanzó GPT-4o en 2024?
   • Dejó de cobrar por textos que no están en inglés
   • Eliminó su tokenizador por completo.
   • Introdujo un tokenizador más grande que usaba menos tokens para muchos idiomas distintos del inglés.
   • Limitó GPT-4o solo al inglés.
6. ¿Cuál es el mejor primer paso para planificar los costos de una aplicación multilingüe?
   • Supongamos que todos los idiomas cuestan lo mismo que el inglés.
   • Tokenice documentos traducidos representativos con el tokenizador exacto de su modelo y compare recuentos
   • Elija el modelo más barato independientemente del idioma
   • Traducir todos los mensajes de los usuarios al inglés primero sin realizar pruebas
7. ¿Qué compensación conlleva ampliar el vocabulario de un tokenizador?
   • Hace que el texto en inglés sea imposible de procesar.
   • Aumenta el tamaño de las capas de incrustación y salida.
   • Elimina la necesidad de datos de entrenamiento.
   • Siempre baja la calidad del modelo.
8. Según la guía, ¿por qué es un error pensar que "algunos idiomas tienen más palabras"?
   • Todas las traducciones tienen exactamente la misma longitud.
   • La palabrería no tiene ningún efecto en nada.
   • Las grandes brechas de tokens provienen principalmente del diseño del tokenizador, no de los lenguajes en sí.
   • Los tokenizadores solo cuentan espacios