Kvíz spojený s průvodcem · Střední úroveň
Tokenizační kvíz WordPiece
Projděte si slovník WordPiece a pravidla zištné segmentace, včetně jeho role ve vícejazyčném BERT a jeho kontrastu s BPE.
Otázka 1 z 8
Co označuje předpona „##“ ve výstupu WordPiece?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co označuje předpona „##“ ve výstupu WordPiece?
- Token je pokračováním uvnitř slova, nikoli počátečním slovem
- Token je speciální oddělovač jako [SEP]
- Token má nejvyšší frekvenci ve slovní zásobě
- Token je neznámá značka mimo slovní zásobu
- Jak velký je zhruba slovník WordPiece používaný původním BERT?
- Asi 256 žetonů
- Asi 30 000 žetonů
- Asi 1 milion tokenů
- Asi 500 žetonů
- Jak se liší kritérium sloučení WordPiece od standardního kódování Byte-Pair?
- Spojuje nejvzácnější pár, aby se snížila slovní zásoba
- Nikdy se neslučuje a používá pouze znaky
- Slučuje se tím, že maximalizuje pravděpodobnost tréninkových dat spíše než hrubou frekvenci
- Během tréninku náhodně spojuje dvojice
- What does a BERT-style WordPiece tokenizer return if it cannot segment a word into vocabulary pieces?
- It always falls back to individual Unicode characters
- A random subword selected from the vocabulary
- The original word encoded as one new token
- The unknown-token marker, such as [UNK]
- Jak si v době odvození vybere WordPiece, jak rozdělit slovo?
- Nenasytně odpovídá nejdelšímu podslovu ve slovní zásobě, zleva doprava
- Nejprve vybírá nejkratší možné kusy
- Zkouší každé možné rozdělení a zprůměruje je
- K předpovídání rozdělení využívá neuronovou síť
- Se kterou známou rodinou modelů je WordPiece nejvíce spojován?
- modely GPT
- BERT a jeho deriváty
- Modely LLaMA
- Stable Diffusion
- What kind of vocabulary did multilingual BERT use across its training languages?
- A completely separate vocabulary for every language
- A vocabulary made only of complete words
- One shared WordPiece vocabulary
- A list of byte sequences with no subwords
- Which tokenizer class in Hugging Face Transformers constructs a BERT tokenizer that uses WordPiece?
- GPT2Tokenizer
- RobertaTokenizer
- CLIPTokenizer
- BertTokenizer