Quiz sur la tokenisation et le codage de paires d'octets

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. Que produit la tokenisation pour qu'un modèle de langage puisse être lu ?
   • Les jetons, qui sont des identifiants entiers mappés à des morceaux de texte
   • Formes d'onde audio brutes
   • Grilles de pixels
   • Code machine compilé
2. Comment Byte Pair Encoding construit-il son vocabulaire ?
   • En attribuant un jeton par mot entier dans un dictionnaire
   • En fusionnant à plusieurs reprises la paire de symboles adjacents la plus fréquente
   • En regroupant aléatoirement les personnages
   • En traduisant d'abord le texte dans une autre langue
3. Quel problème les méthodes de sous-mots comme BPE résolvent-elles par rapport à la tokenisation au niveau des mots ?
   • Ils font de chaque phrase exactement un jeton
   • Ils éliminent le besoin de tout vocabulaire
   • Ils traitent les mots rares ou invisibles en les divisant en fragments réutilisables
   • Ils ne fonctionnent que pour l'anglais
4. Quel est l'avantage du BPE au niveau octet, tel qu'utilisé dans les modèles GPT ?
   • Elle utilise moins de jetons que toute autre méthode pour toutes les langues
   • Cela supprime le besoin de former le modèle
   • Il ne code que les lettres anglaises
   • Il peut représenter n'importe quel texte Unicode, y compris les emoji et n'importe quelle langue, sans échec hors vocabulaire.
5. Pourquoi le nombre de jetons d'un modèle diffère-t-il souvent du nombre de mots dans une phrase ?
   • Les espaces, les majuscules et les mots rares modifient la façon dont le texte est divisé, et un mot peut devenir plusieurs jetons
   • Les jetons sont comptés dans une langue aléatoire
   • Chaque mot est toujours exactement deux jetons
   • Le nombre de jetons dépend uniquement de la ponctuation
6. À quel domaine l’algorithme de codage par paires d’octets a-t-il été emprunté à l’origine ?
   • Rendu d'images
   • Compression des données
   • Indexation de base de données
   • Cryptographie
7. After BPE training creates its vocabulary, what does an encoder use to tokenize new text?
   • A new merge ranking learned separately for each sentence
   • A dictionary of whole words only
   • The learned vocabulary and ordered merge rules applied to the input symbols
   • A translation table that changes the text language
8. Why can byte-level BPE encode a character it never saw as a whole token during training?
   • The tokenizer invents new model parameters for each character
   • It drops every unseen character
   • The model automatically translates it to English first
   • The UTF-8 input can be represented as a sequence of bytes from a finite base alphabet