Cuestionario vinculado a una guía · Medio Nivel

Cuestionario sobre modelos a nivel de bytes sin tokenizador

Comprenda los modelos de lenguaje de bytes sin formato, los parches basados ​​en entropía de BLT y las ventajas y desventajas de eficiencia y cobertura de eliminar vocabularios de tokens fijos.

Rutas de guía relacionadasModelos de nivel de bytes libres de Tokenizer
Pregunta 1 de 8

¿Qué lee un modelo de nivel de bytes sin tokenizador como unidades de entrada?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Qué lee un modelo de nivel de bytes sin tokenizador como unidades de entrada?
    • Bytes sin formato (valores UTF-8 0-255)
    • Subpalabras fragmentadas de un vocabulario fijo
    • Palabras completas separadas por espacios.
    • Solo incrustaciones precalculadas
  2. ¿Cuál es el principal inconveniente práctico de alimentar bytes sin procesar a un transformador estándar?
    • Los bytes no pueden representar texto que no esté en inglés.
    • Las secuencias se vuelven mucho más largas, lo que aumenta el costo de cómputo
    • Hay demasiados valores de bytes posibles para incrustar
    • Los bytes pierden todo el significado de las palabras de forma permanente
  3. ¿Cómo decide el Byte Latent Transformer (BLT) dónde agrupar los bytes en parches?
    • Dividiendo en cada carácter de espacio
    • Usando un tamaño de parche fijo de 4 bytes
    • Basado en entropía de predicción a nivel de bytes (incertidumbre)
    • Al azar durante cada pase hacia adelante
  4. Why can a fixed subword vocabulary use more tokens for some languages than others?
    • Subword tokenizers only accept ASCII
    • All languages have identical token boundaries
    • They cannot represent numerals
    • Its token inventory may reflect the language distribution in the data used to build it
  5. What does removing a fixed tokenizer guarantee about byte-level input?
    • The same byte alphabet can represent text from different scripts, while learned language ability still depends on data
    • The model understands every language without training data
    • It guarantees equal performance for all scripts
    • The model no longer needs a vocabulary or learned embeddings
  6. ¿Qué modelo anterior demostró procesamiento a nivel de bytes pero fue criticado por ser lento?
    • BERT
    • PorT5
    • Palabra2Vec
    • GPT-2
  7. What representations does BLT’s large global Transformer process?
    • Individual words from a fixed subword vocabulary only
    • Píxeles de imagen
    • Dynamically sized byte patches
    • Robot joint-angle commands
  8. Which components surround the global Transformer in BLT?
    • A reward model and a value network
    • A speech vocoder and a spectrogram
    • A camera and a lidar sensor
    • A local byte encoder and a local byte decoder