Prueba de tokenización y codificación de pares de bytes

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Qué produce la tokenización para que lo lea un modelo de lenguaje?
   • Tokens, que son ID de números enteros asignados a fragmentos de texto.
   • Formas de onda de audio sin procesar
   • Cuadrículas de píxeles
   • Código de máquina compilado
2. ¿Cómo construye Byte Pair Encoding su vocabulario?
   • Asignando un token por palabra completa en un diccionario
   • Fusionando repetidamente el par de símbolos adyacentes más frecuentes
   • Agrupando personajes aleatoriamente
   • Traduciendo primero el texto a otro idioma
3. ¿Qué problema resuelven los métodos de subpalabras como BPE en comparación con la tokenización a nivel de palabra?
   • Hacen que cada frase sea exactamente una ficha.
   • Eliminan la necesidad de cualquier vocabulario.
   • Manejan palabras raras o invisibles dividiéndolas en fragmentos reutilizables
   • Solo trabajan para ingles.
4. ¿Cuál es la ventaja del BPE a nivel de bytes, como se utiliza en los modelos GPT?
   • Utiliza menos tokens que cualquier otro método para todos los idiomas.
   • Elimina la necesidad de entrenar el modelo.
   • Sólo codifica letras en inglés.
   • Puede representar cualquier texto Unicode, incluidos emojis y cualquier idioma, sin fallos por falta de vocabulario.
5. ¿Por qué el recuento de tokens de un modelo suele diferir del número de palabras de una frase?
   • Los espacios, las mayúsculas y las palabras raras cambian la forma en que se divide el texto, y una palabra puede convertirse en varios tokens.
   • Los tokens se cuentan en un idioma aleatorio.
   • Cada palabra es siempre exactamente dos fichas.
   • El recuento de tokens solo depende de la puntuación
6. ¿De qué campo se tomó originalmente el algoritmo de codificación de pares de bytes?
   • Representación de imágenes
   • Compresión de datos
   • Indexación de bases de datos
   • Criptografía
7. After BPE training creates its vocabulary, what does an encoder use to tokenize new text?
   • A new merge ranking learned separately for each sentence
   • A dictionary of whole words only
   • The learned vocabulary and ordered merge rules applied to the input symbols
   • A translation table that changes the text language
8. Why can byte-level BPE encode a character it never saw as a whole token during training?
   • The tokenizer invents new model parameters for each character
   • It drops every unseen character
   • The model automatically translates it to English first
   • The UTF-8 input can be represented as a sequence of bytes from a finite base alphabet