Quiz lié à un guide · Moyen Niveau

Quiz sur la tokenisation WordPièce

Passez en revue le vocabulaire et les règles de segmentation gourmandes de WordPièce, y compris son rôle dans le BERT multilingue et son contraste avec le BPE.

Chemins de guidage associésTokenisation de Wordpiece
Question 1 de 8

Qu'indique le préfixe « ## » dans la sortie WordPièce ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Qu'indique le préfixe « ## » dans la sortie WordPièce ?
    • Le jeton est une pièce de continuation à l'intérieur d'un mot, et non l'initiale d'un mot.
    • Le jeton est un séparateur spécial comme [SEP]
    • Le jeton a la fréquence la plus élevée du vocabulaire
    • Le jeton est un marqueur inconnu hors vocabulaire
  2. Quelle est à peu près la taille du vocabulaire WordPièce utilisé par le BERT original ?
    • Environ 256 jetons
    • Environ 30 000 jetons
    • Environ 1 million de jetons
    • Environ 500 jetons
  3. En quoi le critère de fusion de WordPièce diffère-t-il du codage par paire d'octets standard ?
    • Il fusionne la paire la plus rare pour réduire le vocabulaire
    • Il ne fusionne jamais et utilise uniquement des caractères
    • Il fusionne en maximisant la probabilité des données d'entraînement plutôt que la fréquence brute
    • Il fusionne les paires au hasard pendant l'entraînement
  4. What does a BERT-style WordPiece tokenizer return if it cannot segment a word into vocabulary pieces?
    • It always falls back to individual Unicode characters
    • A random subword selected from the vocabulary
    • The original word encoded as one new token
    • The unknown-token marker, such as [UNK]
  5. Au moment de l'inférence, comment WordPièce choisit-il comment diviser un mot ?
    • Il correspond avidement au sous-mot le plus long du vocabulaire, de gauche à droite.
    • Il sélectionne d'abord les pièces les plus courtes possibles
    • Il essaie toutes les divisions possibles et en fait la moyenne
    • Il utilise un réseau neuronal pour prédire les divisions
  6. À quelle famille de modèles bien connue WordPièce est-il le plus associé ?
    • Modèles GPT
    • BERT et ses dérivés
    • Modèles LLaMA
    • Stable Diffusion
  7. What kind of vocabulary did multilingual BERT use across its training languages?
    • A completely separate vocabulary for every language
    • A vocabulary made only of complete words
    • One shared WordPiece vocabulary
    • A list of byte sequences with no subwords
  8. Which tokenizer class in Hugging Face Transformers constructs a BERT tokenizer that uses WordPiece?
    • GPT2Tokenizer
    • RobertaTokenizer
    • CLIPTokenizer
    • BertTokenizer