Kuiz Tokenisasi SentencePiece

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

1. Apakah andaian utama yang SentencePiece elakkan yang digunakan oleh tokenizer tradisional?
   • Perkataan itu dipisahkan oleh ruang
   • Teks itu dikodkan dalam UTF-8
   • Ayat itu diakhiri dengan tanda baca
   • Bahawa perbendaharaan kata ditetapkan terlebih dahulu
2. Mengapakah SentencePiece menggantikan ruang dengan simbol meta yang boleh dilihat?
   • Untuk memampatkan teks dengan lebih agresif
   • Untuk menjadikan tokenisasi boleh diterbalikkan sepenuhnya (tidak rugi)
   • Untuk mengalih keluar semua tanda baca secara automatik
   • Untuk menterjemah antara bahasa
3. Dua algoritma manakah yang paling disokong oleh SentencePiece?
   • TF-IDF dan Word2Vec
   • LSTM dan CNN
   • BPE dan model bahasa Unigram
   • K-means dan PCA
4. Bagaimanakah model Unigram membina perbendaharaan katanya?
   • Dengan memulakan kosong dan menggabungkan pasangan aksara yang kerap
   • Dengan menyalin kamus bahasa Inggeris
   • Dengan menggunakan senarai tetap 1,000 patah perkataan
   • Dengan memulakan besar dan memangkas kepingan yang paling kurang berguna melalui EM
5. Model manakah yang terkenal menggunakan tokenizer SentencePiece?
   • T5
   • GPT-2
   • ELMo
   • Sarung Tangan
6. Apakah kelebihan yang diberikan sandaran peringkat byte SentencePiece?
   • Ia menjadikan model kereta api lebih laju
   • Ia menjamin mana-mana watak boleh diwakili, mengelakkan kegagalan perbendaharaan kata
   • Ia menghilangkan keperluan untuk perhatian
   • Ia menggandakan saiz perbendaharaan kata secara automatik
7. What kind of input can SentencePiece use to train a subword model directly?
   • Only text already converted to English word tokens
   • Only a fixed dictionary of complete words
   • Raw sentences, without first splitting them into word sequences
   • Only character-frequency tables with no sentence data
8. Why is a language-independent tokenizer useful for multilingual text?
   • It translates every input into one language before tokenizing
   • It assigns the same meaning to every token in every language
   • It removes the need for a model vocabulary
   • The same tokenizer pipeline can process scripts without requiring language-specific word segmentation