Вікторина, пов’язана з посібником · Середній Рівень

Тест із токенізації WordPiece

Перегляньте словниковий запас WordPiece і правила сегментації greedy, включаючи його роль у багатомовному BERT і його контраст з BPE.

Пов'язані напрямні шляхиТокенізація Wordpiece
Питання 1 з 8

Що означає префікс «##» у виводі WordPiece?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Що означає префікс «##» у виводі WordPiece?
    • Лексема є частиною продовження всередині слова, а не ініціалом слова
    • Токен є спеціальним роздільником, наприклад [SEP]
    • Лексема має найбільшу частотність у лексиці
    • Лексема є невідомим позалексичним маркером
  2. Наскільки великий словниковий запас WordPiece, який використовується оригінальним BERT?
    • Близько 256 жетонів
    • Близько 30 000 жетонів
    • Близько 1 мільйона токенів
    • Близько 500 жетонів
  3. Чим критерій злиття WordPiece відрізняється від стандартного кодування пар байтів?
    • Він об’єднує найрідкіснішу пару, щоб зменшити словниковий запас
    • Він ніколи не зливається і використовує лише символи
    • Він об’єднується, максимізуючи вірогідність навчальних даних, а не необроблену частоту
    • Він об’єднує пари випадковим чином під час навчання
  4. What does a BERT-style WordPiece tokenizer return if it cannot segment a word into vocabulary pieces?
    • It always falls back to individual Unicode characters
    • A random subword selected from the vocabulary
    • The original word encoded as one new token
    • The unknown-token marker, such as [UNK]
  5. Як WordPiece вибирає, як розділити слово під час висновку?
    • Він збігається з найдовшим підсловом у словнику жадібно, зліва направо
    • Спочатку він вибирає найкоротші шматки
    • Він пробує всі можливі розбиття та усереднює їх
    • Він використовує нейронну мережу для прогнозування розколів
  6. З яким відомим сімейством моделей найбільше асоціюється WordPiece?
    • Моделі GPT
    • BERT та його похідні
    • Моделі LLaMA
    • Stable Diffusion
  7. What kind of vocabulary did multilingual BERT use across its training languages?
    • A completely separate vocabulary for every language
    • A vocabulary made only of complete words
    • One shared WordPiece vocabulary
    • A list of byte sequences with no subwords
  8. Which tokenizer class in Hugging Face Transformers constructs a BERT tokenizer that uses WordPiece?
    • GPT2Tokenizer
    • RobertaTokenizer
    • CLIPTokenizer
    • BertTokenizer