Kvíz spojený s průvodcem · Střední úroveň

Tokenizační kvíz WordPiece

Projděte si slovník WordPiece a pravidla zištné segmentace, včetně jeho role ve vícejazyčném BERT a jeho kontrastu s BPE.

Související vodicí cestyTokenizace slovní zásoby
Otázka 1 z 8

Co označuje předpona „##“ ve výstupu WordPiece?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co označuje předpona „##“ ve výstupu WordPiece?
    • Token je pokračováním uvnitř slova, nikoli počátečním slovem
    • Token je speciální oddělovač jako [SEP]
    • Token má nejvyšší frekvenci ve slovní zásobě
    • Token je neznámá značka mimo slovní zásobu
  2. Jak velký je zhruba slovník WordPiece používaný původním BERT?
    • Asi 256 žetonů
    • Asi 30 000 žetonů
    • Asi 1 milion tokenů
    • Asi 500 žetonů
  3. Jak se liší kritérium sloučení WordPiece od standardního kódování Byte-Pair?
    • Spojuje nejvzácnější pár, aby se snížila slovní zásoba
    • Nikdy se neslučuje a používá pouze znaky
    • Slučuje se tím, že maximalizuje pravděpodobnost tréninkových dat spíše než hrubou frekvenci
    • Během tréninku náhodně spojuje dvojice
  4. What does a BERT-style WordPiece tokenizer return if it cannot segment a word into vocabulary pieces?
    • It always falls back to individual Unicode characters
    • A random subword selected from the vocabulary
    • The original word encoded as one new token
    • The unknown-token marker, such as [UNK]
  5. Jak si v době odvození vybere WordPiece, jak rozdělit slovo?
    • Nenasytně odpovídá nejdelšímu podslovu ve slovní zásobě, zleva doprava
    • Nejprve vybírá nejkratší možné kusy
    • Zkouší každé možné rozdělení a zprůměruje je
    • K předpovídání rozdělení využívá neuronovou síť
  6. Se kterou známou rodinou modelů je WordPiece nejvíce spojován?
    • modely GPT
    • BERT a jeho deriváty
    • Modely LLaMA
    • Stable Diffusion
  7. What kind of vocabulary did multilingual BERT use across its training languages?
    • A completely separate vocabulary for every language
    • A vocabulary made only of complete words
    • One shared WordPiece vocabulary
    • A list of byte sequences with no subwords
  8. Which tokenizer class in Hugging Face Transformers constructs a BERT tokenizer that uses WordPiece?
    • GPT2Tokenizer
    • RobertaTokenizer
    • CLIPTokenizer
    • BertTokenizer