Quiz dotyczący lematyzacji i stemmingu

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Jaka jest główna różnica między stemmingiem a lematyzacją?
   • Stemming wykorzystuje prymitywne zasady usuwania sufiksów, podczas gdy lematyzacja odwzorowuje słowa na prawdziwe formy podstawowe słownika
   • Stemming korzysta ze słowników; lematyzacja posługuje się regułami
   • Są to identyczne procesy
   • Stemming działa tylko na liczbach
2. Co mógłby wyniknąć Porter w odniesieniu do słowa „badania”?
   • studiować
   • studia
   • studiował
   • student
3. When 'better' is used as a comparative adjective, which lemma may a lemmatizer return?
   • Betterness
   • Bet
   • Good
   • Wellness
4. Dlaczego lemmatyzator często potrzebuje informacji będących częścią mowy?
   • Do liczenia liter
   • Aby przetłumaczyć słowo
   • Używając słowa z dużej litery
   • Aby wybrać poprawny lemat, ponieważ ta sama pisownia może być rzeczownikiem lub czasownikiem
5. Co jest ogólnie PRAWDĄ w odniesieniu do stemmingu w porównaniu z lematyzacją?
   • Stemming jest szybszy, ale mniej dokładny
   • Stemming jest wolniejszy i dokładniejszy
   • Stemming zawsze tworzy słowa ze słownika
   • Stemming wymaga WordNet
6. Jakie praktyczne korzyści mają obie techniki?
   • Tłumaczą tekst
   • Zmniejszają rozmiar słownictwa poprzez łączenie wariantów słów
   • Dodają nowe słowa
   • Szyfrują tekst
7. What does byte-pair encoding do when constructing subword units?
   • It strips every suffix using a fixed Porter rule
   • It assigns every word a single pronunciation
   • It iteratively merges frequent adjacent symbols into larger units
   • It replaces all tokens with part-of-speech labels
8. Why should stemming or lemmatization tools be checked separately for different languages?
   • Every language uses the same suffix rules
   • Lemmatizers can process only English verbs
   • Stemming produces identical output for every script
   • Morphology and useful normalization rules vary by language