Gids-gekoppelde quiz · Middelmatig Niveau

Woordstuk-tokenisatiequiz

Bekijk de woordenschat en de hebzuchtige segmentatieregels van WordPiece, inclusief de rol ervan in meertalige BERT en het contrast met BPE.

Gerelateerde gidspadenWoordstuk-tokenisatie
Vraag 1 van 8

Wat geeft het voorvoegsel '##' aan in WordPiece-uitvoer?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat geeft het voorvoegsel '##' aan in WordPiece-uitvoer?
    • Het token is een vervolgstuk binnen een woord, en niet de woordinitiaal
    • Het token is een speciaal scheidingsteken zoals [SEP]
    • Het token heeft de hoogste frequentie in het vocabulaire
    • Het token is een onbekende marker die buiten de woordenschat valt
  2. Hoe groot is ongeveer de WordPiece-vocabulaire die door de originele BERT wordt gebruikt?
    • Ongeveer 256 tokens
    • Ongeveer 30.000 tokens
    • Ongeveer 1 miljoen tokens
    • Ongeveer 500 tokens
  3. Hoe verschilt het samenvoegcriterium van WordPiece van standaard byte-paarcodering?
    • Het voegt het zeldzaamste paar samen om de woordenschat te verkleinen
    • Het voegt nooit samen en gebruikt alleen karakters
    • Het wordt samengevoegd door de waarschijnlijkheid van trainingsgegevens te maximaliseren in plaats van de ruwe frequentie
    • Het voegt willekeurig paren samen tijdens de training
  4. What does a BERT-style WordPiece tokenizer return if it cannot segment a word into vocabulary pieces?
    • It always falls back to individual Unicode characters
    • A random subword selected from the vocabulary
    • The original word encoded as one new token
    • The unknown-token marker, such as [UNK]
  5. Hoe kiest WordPiece tijdens de inferentie hoe een woord wordt gesplitst?
    • Het komt gretig overeen met het langste subwoord in de woordenschat, van links naar rechts
    • Het kiest eerst de kortst mogelijke stukken
    • Het probeert elke mogelijke splitsing en maakt hiervan het gemiddelde
    • Het maakt gebruik van een neuraal netwerk om splitsingen te voorspellen
  6. Met welke bekende modelfamilie wordt WordPiece het meest geassocieerd?
    • GPT-modellen
    • BERT en zijn derivaten
    • LLaMA-modellen
    • Stable Diffusion
  7. What kind of vocabulary did multilingual BERT use across its training languages?
    • A completely separate vocabulary for every language
    • A vocabulary made only of complete words
    • One shared WordPiece vocabulary
    • A list of byte sequences with no subwords
  8. Which tokenizer class in Hugging Face Transformers constructs a BERT tokenizer that uses WordPiece?
    • GPT2Tokenizer
    • RobertaTokenizer
    • CLIPTokenizer
    • BertTokenizer