Quiz sur la tokenisation de SentencePièce

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. Quelle hypothèse clé SentencePièce évite-t-elle sur laquelle s'appuient les tokeniseurs traditionnels ?
   • Que les mots sont séparés par des espaces
   • Ce texte est codé en UTF-8
   • Que les phrases se terminent par un signe de ponctuation
   • Que le vocabulaire est fixé à l'avance
2. Pourquoi SentencePièce remplace-t-il les espaces par un méta-symbole visible ?
   • Pour compresser le texte de manière plus agressive
   • Rendre la tokenisation entièrement réversible (sans perte)
   • Pour supprimer automatiquement tous les signes de ponctuation
   • Traduire entre les langues
3. Quels sont les deux algorithmes principalement pris en charge par SentencePièce ?
   • TF-IDF et Word2Vec
   • LSTM et CNN
   • BPE et le modèle de langage Unigram
   • K-moyennes et PCA
4. Comment le modèle Unigram construit-il son vocabulaire ?
   • En commençant vide et en fusionnant les paires de caractères fréquentes
   • En copiant un dictionnaire anglais
   • En utilisant une liste fixe de 1 000 mots
   • En commençant grand et en taillant les morceaux les moins utiles via EM
5. Quel modèle utilise un tokenizer SentencePièce ?
   • T5
   • GPT-2
   • ELMo
   • Gant
6. Quel avantage le repli au niveau de l'octet donne-t-il à SentencePièce ?
   • Cela rend le train miniature plus rapide
   • Il garantit que n'importe quel personnage peut être représenté, évitant ainsi les échecs hors vocabulaire.
   • Cela supprime le besoin d’attention
   • Il double automatiquement la taille du vocabulaire
7. What kind of input can SentencePiece use to train a subword model directly?
   • Only text already converted to English word tokens
   • Only a fixed dictionary of complete words
   • Raw sentences, without first splitting them into word sequences
   • Only character-frequency tables with no sentence data
8. Why is a language-independent tokenizer useful for multilingual text?
   • It translates every input into one language before tokenizing
   • It assigns the same meaning to every token in every language
   • It removes the need for a model vocabulary
   • The same tokenizer pipeline can process scripts without requiring language-specific word segmentation