Викторина по лемматизации и стеммингу

Ответы и пояснения появляются по мере прохождения теста.

1. В чем основное отличие стемминга от лемматизации?
   • Стемминг использует грубые правила удаления суффиксов, а лемматизация сопоставляет слова с реальными базовыми формами словаря.
   • Стемминг использует словари; лемматизация использует правила
   • Это идентичные процессы
   • Стемминг работает только с числами
2. Что может вывести стеммер Портера для слова «исследования»?
   • исследование
   • учиться
   • учился
   • студент
3. When 'better' is used as a comparative adjective, which lemma may a lemmatizer return?
   • Betterness
   • Bet
   • Good
   • Wellness
4. Почему лемматизатору часто нужна информация о частях речи?
   • Чтобы считать буквы
   • Чтобы перевести слово
   • Чтобы написать слово с заглавной буквы
   • Выбрать правильную лемму, так как в одинаковом написании может быть и существительное, и глагол.
5. Что вообще ВЕРНО в отношении стемминга по сравнению с лемматизацией?
   • Стеммирование происходит быстрее, но менее точно
   • Стемминг происходит медленнее и точнее
   • Стемминг всегда производит словарные слова.
   • Для стемминга требуется WordNet
6. Какую практическую пользу имеют оба метода?
   • Они переводят текст
   • Они уменьшают размер словарного запаса за счет объединения вариантов слов.
   • Они добавляют новые слова
   • Они шифруют текст
7. What does byte-pair encoding do when constructing subword units?
   • It strips every suffix using a fixed Porter rule
   • It assigns every word a single pronunciation
   • It iteratively merges frequent adjacent symbols into larger units
   • It replaces all tokens with part-of-speech labels
8. Why should stemming or lemmatization tools be checked separately for different languages?
   • Every language uses the same suffix rules
   • Lemmatizers can process only English verbs
   • Stemming produces identical output for every script
   • Morphology and useful normalization rules vary by language