Quiz lié à un guide · Moyen Niveau

Quiz sur les modèles au niveau des octets sans tokenizer

Comprenez les modèles de langage en octets bruts, les correctifs basés sur l'entropie de BLT et les compromis en termes d'efficacité et de couverture liés à la suppression des vocabulaires de jetons fixes.

Chemins de guidage associésModèles de niveau d'octets gratuits Tokenizer
Question 1 de 8

Que lit un modèle au niveau des octets sans tokenizer comme unités d'entrée ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Que lit un modèle au niveau des octets sans tokenizer comme unités d'entrée ?
    • Octets bruts (valeurs UTF-8 0-255)
    • Sous-mots de mots issus d'un vocabulaire fixe
    • Mots entiers séparés par des espaces
    • Intégrations précalculées uniquement
  2. Quel est le principal inconvénient pratique de l’alimentation en octets bruts d’un transformateur standard ?
    • Les octets ne peuvent pas représenter du texte non anglais
    • Les séquences deviennent beaucoup plus longues, ce qui augmente les coûts de calcul
    • Il y a trop de valeurs d'octets possibles à intégrer
    • Les octets perdent définitivement toute signification de mot
  3. Comment le Byte Latent Transformer (BLT) décide-t-il où regrouper les octets en correctifs ?
    • En divisant sur chaque caractère d'espace
    • Utilisation d'une taille de patch fixe de 4 octets
    • Basé sur l'entropie de prédiction au niveau de l'octet (incertitude)
    • Au hasard lors de chaque passe avant
  4. Why can a fixed subword vocabulary use more tokens for some languages than others?
    • Subword tokenizers only accept ASCII
    • All languages have identical token boundaries
    • They cannot represent numerals
    • Its token inventory may reflect the language distribution in the data used to build it
  5. What does removing a fixed tokenizer guarantee about byte-level input?
    • The same byte alphabet can represent text from different scripts, while learned language ability still depends on data
    • The model understands every language without training data
    • It guarantees equal performance for all scripts
    • The model no longer needs a vocabulary or learned embeddings
  6. Quel modèle antérieur démontrait un traitement au niveau des octets mais a été critiqué pour sa lenteur ?
    • BERTE
    • ParT5
    • Mot2Vec
    • GPT-2
  7. What representations does BLT’s large global Transformer process?
    • Individual words from a fixed subword vocabulary only
    • Pixels de l'image
    • Dynamically sized byte patches
    • Robot joint-angle commands
  8. Which components surround the global Transformer in BLT?
    • A reward model and a value network
    • A speech vocoder and a spectrogram
    • A camera and a lidar sensor
    • A local byte encoder and a local byte decoder