Útmutatóhoz kapcsolódó kvíz · Közepes Szint

WordPiece Tokenization kvíz

Review WordPiece's vocabulary and greedy segmentation rules, including its role in multilingual BERT and its contrast with BPE.

Kapcsolódó útmutató utakWordpiece tokenizáció
kérdés 1 -ból 8

Mit jelez a "##" előtag a WordPiece kimenetben?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mit jelez a "##" előtag a WordPiece kimenetben?
    • A token egy szón belüli folytatás, nem szókezdő
    • A token egy speciális elválasztó, például [SEP]
    • A tokennek van a legmagasabb gyakorisága a szókincsben
    • A token egy ismeretlen, szókincsen kívüli jelző
  2. Körülbelül mekkora az eredeti BERT által használt WordPiece szókincs?
    • Körülbelül 256 token
    • Körülbelül 30.000 token
    • Körülbelül 1 millió token
    • Körülbelül 500 token
  3. Miben különbözik a WordPiece egyesítési feltétele a szabványos bájtpáros kódolástól?
    • A szókincs csökkentése érdekében összevonja a legritkább párokat
    • Soha nem egyesül, és csak karaktereket használ
    • A nyers gyakoriság helyett a képzési adatok valószínűségének maximalizálásával egyesül
    • Az edzés során véletlenszerűen egyesíti a párokat
  4. What does a BERT-style WordPiece tokenizer return if it cannot segment a word into vocabulary pieces?
    • It always falls back to individual Unicode characters
    • A random subword selected from the vocabulary
    • The original word encoded as one new token
    • The unknown-token marker, such as [UNK]
  5. A következtetés időpontjában hogyan választja ki a WordPiece a szó felosztását?
    • A szókincs leghosszabb alszavával egyezik mohón, balról jobbra
    • Először a lehető legrövidebb darabokat választja ki
    • Minden lehetséges osztást kipróbál, és átlagolja őket
    • Neurális hálózatot használ a felosztások előrejelzésére
  6. Melyik jól ismert modellcsaládhoz kötődik leginkább a WordPiece?
    • GPT modellek
    • A BERT és származékai
    • LLaMA modellek
    • Stable Diffusion
  7. What kind of vocabulary did multilingual BERT use across its training languages?
    • A completely separate vocabulary for every language
    • A vocabulary made only of complete words
    • One shared WordPiece vocabulary
    • A list of byte sequences with no subwords
  8. Which tokenizer class in Hugging Face Transformers constructs a BERT tokenizer that uses WordPiece?
    • GPT2Tokenizer
    • RobertaTokenizer
    • CLIPTokenizer
    • BertTokenizer