Útmutatóhoz kapcsolódó kvíz · Közepes Szint
WordPiece Tokenization kvíz
Review WordPiece's vocabulary and greedy segmentation rules, including its role in multilingual BERT and its contrast with BPE.
kérdés 1 -ból 8
Mit jelez a "##" előtag a WordPiece kimenetben?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mit jelez a "##" előtag a WordPiece kimenetben?
- A token egy szón belüli folytatás, nem szókezdő
- A token egy speciális elválasztó, például [SEP]
- A tokennek van a legmagasabb gyakorisága a szókincsben
- A token egy ismeretlen, szókincsen kívüli jelző
- Körülbelül mekkora az eredeti BERT által használt WordPiece szókincs?
- Körülbelül 256 token
- Körülbelül 30.000 token
- Körülbelül 1 millió token
- Körülbelül 500 token
- Miben különbözik a WordPiece egyesítési feltétele a szabványos bájtpáros kódolástól?
- A szókincs csökkentése érdekében összevonja a legritkább párokat
- Soha nem egyesül, és csak karaktereket használ
- A nyers gyakoriság helyett a képzési adatok valószínűségének maximalizálásával egyesül
- Az edzés során véletlenszerűen egyesíti a párokat
- What does a BERT-style WordPiece tokenizer return if it cannot segment a word into vocabulary pieces?
- It always falls back to individual Unicode characters
- A random subword selected from the vocabulary
- The original word encoded as one new token
- The unknown-token marker, such as [UNK]
- A következtetés időpontjában hogyan választja ki a WordPiece a szó felosztását?
- A szókincs leghosszabb alszavával egyezik mohón, balról jobbra
- Először a lehető legrövidebb darabokat választja ki
- Minden lehetséges osztást kipróbál, és átlagolja őket
- Neurális hálózatot használ a felosztások előrejelzésére
- Melyik jól ismert modellcsaládhoz kötődik leginkább a WordPiece?
- GPT modellek
- A BERT és származékai
- LLaMA modellek
- Stable Diffusion
- What kind of vocabulary did multilingual BERT use across its training languages?
- A completely separate vocabulary for every language
- A vocabulary made only of complete words
- One shared WordPiece vocabulary
- A list of byte sequences with no subwords
- Which tokenizer class in Hugging Face Transformers constructs a BERT tokenizer that uses WordPiece?
- GPT2Tokenizer
- RobertaTokenizer
- CLIPTokenizer
- BertTokenizer