Quiz dotyczący tokenizacji WordPiece

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Co oznacza przedrostek „##” w wynikach programu WordPiece?
   • Token jest kontynuacją słowa, a nie jego inicjałem
   • Token jest specjalnym separatorem, takim jak [SEP]
   • Token ma najwyższą częstotliwość w słownictwie
   • Token jest nieznanym znacznikiem spoza słownika
2. Mniej więcej, jak duże jest słownictwo WordPiece używane przez oryginalny BERT?
   • Około 256 tokenów
   • Około 30 000 tokenów
   • Około 1 miliona tokenów
   • Około 500 żetonów
3. Czym kryterium scalania programu WordPiece różni się od standardowego kodowania par bajtów?
   • Łączy najrzadszą parę, aby zmniejszyć słownictwo
   • Nigdy się nie łączy i używa tylko znaków
   • Łączy się poprzez maksymalizację prawdopodobieństwa danych szkoleniowych, a nie surowej częstotliwości
   • Podczas treningu łączy losowo pary
4. What does a BERT-style WordPiece tokenizer return if it cannot segment a word into vocabulary pieces?
   • It always falls back to individual Unicode characters
   • A random subword selected from the vocabulary
   • The original word encoded as one new token
   • The unknown-token marker, such as [UNK]
5. W jaki sposób WordPiece wybiera sposób podziału słowa w momencie wnioskowania?
   • Dopasowuje najdłuższe podsłowo w słowniku zachłannie, od lewej do prawej
   • Najpierw wybiera możliwie najkrótsze elementy
   • Próbuje każdego możliwego podziału i uśrednia je
   • Wykorzystuje sieć neuronową do przewidywania podziałów
6. Z jaką znaną rodziną modeli WordPiece jest najbardziej kojarzony?
   • Modele GPT
   • BERT i jego pochodne
   • Modele LLaMA
   • Stable Diffusion
7. What kind of vocabulary did multilingual BERT use across its training languages?
   • A completely separate vocabulary for every language
   • A vocabulary made only of complete words
   • One shared WordPiece vocabulary
   • A list of byte sequences with no subwords
8. Which tokenizer class in Hugging Face Transformers constructs a BERT tokenizer that uses WordPiece?
   • GPT2Tokenizer
   • RobertaTokenizer
   • CLIPTokenizer
   • BertTokenizer