Тест, свързан с ръководство · Среден Ниво

Тест за токенизиране на WordPiece

Прегледайте речника на WordPiece и правилата за лакомо сегментиране, включително ролята му в многоезичния BERT и контраста му с BPE.

Свързани ръководни пътекиТокенизация на Wordpiece
Въпрос 1 на 8

Какво показва префиксът '##' в изхода на WordPiece?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Какво показва префиксът '##' в изхода на WordPiece?
    • Токенът е продължение на думата, а не начална дума
    • Токенът е специален разделител като [SEP]
    • Лексемата е с най-висока честота в лексиката
    • Лексемата е неизвестен маркер извън речника
  2. Приблизително колко голям е речникът на WordPiece, използван от оригиналния BERT?
    • Около 256 жетона
    • Около 30 000 токена
    • Около 1 милион жетона
    • Около 500 жетона
  3. По какво се различава критерият за сливане на WordPiece от стандартното кодиране на двойки байтове?
    • Той обединява най-редките двойки, за да намали речника
    • Никога не се слива и използва само знаци
    • Той се слива чрез увеличаване на вероятността от данни за обучение, а не чрез необработена честота
    • Той обединява двойки на случаен принцип по време на обучение
  4. What does a BERT-style WordPiece tokenizer return if it cannot segment a word into vocabulary pieces?
    • It always falls back to individual Unicode characters
    • A random subword selected from the vocabulary
    • The original word encoded as one new token
    • The unknown-token marker, such as [UNK]
  5. По време на извод как WordPiece избира как да раздели дума?
    • Съвпада с най-дългата поддума в речника алчно, отляво надясно
    • Първо избира възможно най-късите парчета
    • Опитва всяко възможно разделяне и ги усреднява
    • Той използва невронна мрежа, за да предвиди разделянето
  6. С кое добре известно семейство модели WordPiece се свързва най-много?
    • GPT модели
    • BERT и неговите производни
    • Модели LLaMA
    • Stable Diffusion
  7. What kind of vocabulary did multilingual BERT use across its training languages?
    • A completely separate vocabulary for every language
    • A vocabulary made only of complete words
    • One shared WordPiece vocabulary
    • A list of byte sequences with no subwords
  8. Which tokenizer class in Hugging Face Transformers constructs a BERT tokenizer that uses WordPiece?
    • GPT2Tokenizer
    • RobertaTokenizer
    • CLIPTokenizer
    • BertTokenizer