Gids-gekoppelde quiz · Middelmatig Niveau
Woordstuk-tokenisatiequiz
Bekijk de woordenschat en de hebzuchtige segmentatieregels van WordPiece, inclusief de rol ervan in meertalige BERT en het contrast met BPE.
Vraag 1 van 8
Wat geeft het voorvoegsel '##' aan in WordPiece-uitvoer?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat geeft het voorvoegsel '##' aan in WordPiece-uitvoer?
- Het token is een vervolgstuk binnen een woord, en niet de woordinitiaal
- Het token is een speciaal scheidingsteken zoals [SEP]
- Het token heeft de hoogste frequentie in het vocabulaire
- Het token is een onbekende marker die buiten de woordenschat valt
- Hoe groot is ongeveer de WordPiece-vocabulaire die door de originele BERT wordt gebruikt?
- Ongeveer 256 tokens
- Ongeveer 30.000 tokens
- Ongeveer 1 miljoen tokens
- Ongeveer 500 tokens
- Hoe verschilt het samenvoegcriterium van WordPiece van standaard byte-paarcodering?
- Het voegt het zeldzaamste paar samen om de woordenschat te verkleinen
- Het voegt nooit samen en gebruikt alleen karakters
- Het wordt samengevoegd door de waarschijnlijkheid van trainingsgegevens te maximaliseren in plaats van de ruwe frequentie
- Het voegt willekeurig paren samen tijdens de training
- What does a BERT-style WordPiece tokenizer return if it cannot segment a word into vocabulary pieces?
- It always falls back to individual Unicode characters
- A random subword selected from the vocabulary
- The original word encoded as one new token
- The unknown-token marker, such as [UNK]
- Hoe kiest WordPiece tijdens de inferentie hoe een woord wordt gesplitst?
- Het komt gretig overeen met het langste subwoord in de woordenschat, van links naar rechts
- Het kiest eerst de kortst mogelijke stukken
- Het probeert elke mogelijke splitsing en maakt hiervan het gemiddelde
- Het maakt gebruik van een neuraal netwerk om splitsingen te voorspellen
- Met welke bekende modelfamilie wordt WordPiece het meest geassocieerd?
- GPT-modellen
- BERT en zijn derivaten
- LLaMA-modellen
- Stable Diffusion
- What kind of vocabulary did multilingual BERT use across its training languages?
- A completely separate vocabulary for every language
- A vocabulary made only of complete words
- One shared WordPiece vocabulary
- A list of byte sequences with no subwords
- Which tokenizer class in Hugging Face Transformers constructs a BERT tokenizer that uses WordPiece?
- GPT2Tokenizer
- RobertaTokenizer
- CLIPTokenizer
- BertTokenizer