Вікторина, пов’язана з посібником · Середній Рівень

Вікторина про токенізацію SentencePiece

Ознайомтеся з навчанням необробленого тексту SentencePiece, оборотними інтервалами, словниковими алгоритмами та запасним байтом для обробки багатомовного тексту.

Пов'язані напрямні шляхиТокенізація Sentencepiece
Питання 1 з 8

Яке ключове припущення уникає SentencePiece, на яке спираються традиційні токенізери?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Яке ключове припущення уникає SentencePiece, на яке спираються традиційні токенізери?
    • Що слова розділені пробілами
    • Цей текст закодовано в UTF-8
    • Що речення закінчуються розділовими знаками
    • Щоб словниковий запас був закріплений заздалегідь
  2. Чому SentencePiece замінює пробіли видимим метасимволом?
    • Стискати текст більш агресивно
    • Щоб зробити токенізацію повністю оборотною (без втрат)
    • Автоматичне видалення всіх розділових знаків
    • Для перекладу між мовами
  3. Які два алгоритми в основному підтримує SentencePiece?
    • TF-IDF і Word2Vec
    • LSTM і CNN
    • BPE і модель мови Unigram
    • K-середнє та PCA
  4. Як модель Unigram створює свій словниковий запас?
    • Починаючи з порожнього і об’єднуючи часті пари символів
    • Копіюючи англійський словник
    • Використовуючи фіксований список із 1000 слів
    • Починаючи з великого та обрізаючи найменш корисні частини через EM
  5. Яка модель використовує токенізатор SentencePiece?
    • Т5
    • ГПТ-2
    • ELMo
    • GloVe
  6. Яку перевагу резервне копіювання на рівні байтів дає SentencePiece?
    • Це робить модель поїзда швидше
    • Це гарантує, що будь-який символ може бути представлений, уникаючи помилок, пов’язаних із словниковим запасом
    • Це знімає потребу в увазі
    • Він автоматично подвоює розмір словникового запасу
  7. What kind of input can SentencePiece use to train a subword model directly?
    • Only text already converted to English word tokens
    • Only a fixed dictionary of complete words
    • Raw sentences, without first splitting them into word sequences
    • Only character-frequency tables with no sentence data
  8. Why is a language-independent tokenizer useful for multilingual text?
    • It translates every input into one language before tokenizing
    • It assigns the same meaning to every token in every language
    • It removes the need for a model vocabulary
    • The same tokenizer pipeline can process scripts without requiring language-specific word segmentation