Викторина, связанная с руководством · Средний Уровень

Викторина по токенизации SentencePiece

Ознакомьтесь с обучением необработанного текста, обратимыми интервалами, словарными алгоритмами и резервным байтом SentencePiece для многоязычной обработки текста.

Связанные направляющие путиТокенизация приговора
Вопрос 1 из 8

Какого ключевого предположения SentencePiece избегает, на что полагаются традиционные токенизаторы?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Какого ключевого предположения SentencePiece избегает, на что полагаются традиционные токенизаторы?
    • Эти слова разделены пробелами
    • Этот текст закодирован в UTF-8.
    • Эти предложения заканчиваются знаками препинания
    • Что словарный запас фиксирован заранее
  2. Почему SentencePiece заменяет пробелы видимым метасимволом?
    • Чтобы сжать текст более агрессивно
    • Сделать токенизацию полностью обратимой (без потерь)
    • Автоматическое удаление всех знаков препинания
    • Для перевода между языками
  3. Какие два алгоритма в первую очередь поддерживает SentencePiece?
    • TF-IDF и Word2Vec
    • ЛСТМ и CNN
    • BPE и языковая модель Unigram
    • K-средства и PCA
  4. Как модель Unigram формирует свой словарный запас?
    • Запуская пустые и объединяя частые пары символов
    • Копируя английский словарь
    • Используя фиксированный список из 1000 слов.
    • Начиная с большого и отсекая наименее полезные части с помощью EM
  5. Какая модель, как известно, использует токенизатор SentencePiece?
    • Т5
    • ГПТ-2
    • ЭЛМО
    • ПЕРЧАТКА
  6. Какое преимущество дает SentencePiece откат на уровне байтов?
    • Это ускоряет обучение модели.
    • Это гарантирует, что любой символ может быть представлен, избегая ошибок, связанных с словарным запасом.
    • Устраняет потребность во внимании
    • Он автоматически удваивает размер словарного запаса.
  7. What kind of input can SentencePiece use to train a subword model directly?
    • Only text already converted to English word tokens
    • Only a fixed dictionary of complete words
    • Raw sentences, without first splitting them into word sequences
    • Only character-frequency tables with no sentence data
  8. Why is a language-independent tokenizer useful for multilingual text?
    • It translates every input into one language before tokenizing
    • It assigns the same meaning to every token in every language
    • It removes the need for a model vocabulary
    • The same tokenizer pipeline can process scripts without requiring language-specific word segmentation