Тест по токенизации WordPiece

Ответы и пояснения появляются по мере прохождения теста.

1. Что означает префикс «##» в выводе WordPiece?
   • Токен представляет собой продолжение слова, а не начало слова.
   • Токен представляет собой специальный разделитель, например [SEP]
   • Токен имеет самую высокую частоту в словаре.
   • Токен представляет собой неизвестный маркер, выходящий за пределы словаря.
2. Насколько велик примерно словарный запас WordPiece, используемый в оригинальном BERT?
   • Около 256 токенов
   • Около 30 000 токенов
   • Около 1 миллиона токенов
   • Около 500 токенов
3. Чем критерий слияния WordPiece отличается от стандартного кодирования парами байтов?
   • Он объединяет самые редкие пары для сокращения словарного запаса.
   • Он никогда не объединяется и использует только символы.
   • Он объединяется за счет максимизации вероятности обучающих данных, а не исходной частоты.
   • Он объединяет пары случайным образом во время обучения.
4. What does a BERT-style WordPiece tokenizer return if it cannot segment a word into vocabulary pieces?
   • It always falls back to individual Unicode characters
   • A random subword selected from the vocabulary
   • The original word encoded as one new token
   • The unknown-token marker, such as [UNK]
5. Как WordPiece выбирает, как разделить слово во время вывода?
   • Он жадно соответствует самому длинному подслову в словаре, слева направо.
   • Сначала он выбирает самые короткие кусочки
   • Он пробует все возможные разделения и усредняет их.
   • Он использует нейронную сеть для прогнозирования расколов.
6. С каким известным семейством моделей WordPiece больше всего ассоциируется?
   • модели GPT
   • BERT и его производные
   • Модели LLaMA
   • Stable Diffusion
7. What kind of vocabulary did multilingual BERT use across its training languages?
   • A completely separate vocabulary for every language
   • A vocabulary made only of complete words
   • One shared WordPiece vocabulary
   • A list of byte sequences with no subwords
8. Which tokenizer class in Hugging Face Transformers constructs a BERT tokenizer that uses WordPiece?
   • GPT2Tokenizer
   • RobertaTokenizer
   • CLIPTokenizer
   • BertTokenizer