Тест за токенизиране на SentencePiece

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. Кое ключово предположение избягва SentencePiece, на което разчитат традиционните токенизатори?
   • Че думите са разделени с интервали
   • Този текст е кодиран в UTF-8
   • Че изреченията завършват с препинателни знаци
   • Че речникът е фиксиран предварително
2. Защо SentencePiece заменя интервалите с видим мета символ?
   • За по-агресивно компресиране на текста
   • За да направите токенизацията напълно обратима (без загуби)
   • За автоматично премахване на всички препинателни знаци
   • За превод между езици
3. Кои два алгоритъма основно поддържа SentencePiece?
   • TF-IDF и Word2Vec
   • LSTM и CNN
   • BPE и езиковия модел Unigram
   • K-означава и PCA
4. Как моделът Unigram изгражда своя речник?
   • Чрез започване с празно и обединяване на чести двойки знаци
   • Чрез копиране на английски речник
   • Чрез използване на фиксиран списък от 1000 думи
   • Чрез започване на големи и подрязване на най-малко полезните части чрез EM
5. Кой модел използва известен токенизатор SentencePiece?
   • Т5
   • GPT-2
   • ELMo
   • GloVe
6. Какво предимство дава резервното връщане на ниво байт на SentencePiece?
   • Това прави модела на влака по-бърз
   • Той гарантира, че всеки знак може да бъде представен, като се избягват грешки извън речника
   • Премахва нуждата от внимание
   • Той автоматично удвоява размера на речника
7. What kind of input can SentencePiece use to train a subword model directly?
   • Only text already converted to English word tokens
   • Only a fixed dictionary of complete words
   • Raw sentences, without first splitting them into word sequences
   • Only character-frequency tables with no sentence data
8. Why is a language-independent tokenizer useful for multilingual text?
   • It translates every input into one language before tokenizing
   • It assigns the same meaning to every token in every language
   • It removes the need for a model vocabulary
   • The same tokenizer pipeline can process scripts without requiring language-specific word segmentation