Kuis Tokenisasi Kalimat

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Asumsi utama apa yang dihindari oleh SentencePiece yang diandalkan oleh pembuat token tradisional?
   • Kata-kata itu dipisahkan oleh spasi
   • Teks itu dikodekan dalam UTF-8
   • Kalimat tersebut diakhiri dengan tanda baca
   • Bahwa kosakatanya sudah diperbaiki terlebih dahulu
2. Mengapa SentencePiece mengganti spasi dengan simbol meta yang terlihat?
   • Untuk mengompresi teks lebih agresif
   • Untuk membuat tokenisasi sepenuhnya dapat dibalik (lossless)
   • Untuk menghapus semua tanda baca secara otomatis
   • Untuk menerjemahkan antar bahasa
3. Dua algoritma manakah yang terutama didukung oleh SentencePiece?
   • TF-IDF dan Word2Vec
   • LSTM dan CNN
   • BPE dan model bahasa Unigram
   • K-means dan PCA
4. Bagaimana model Unigram membangun kosakatanya?
   • Dengan memulai dari awal dan menggabungkan pasangan karakter yang sering
   • Dengan menyalin kamus bahasa Inggris
   • Dengan menggunakan daftar tetap 1.000 kata
   • Dengan memulai dari yang besar dan memangkas bagian yang paling tidak berguna melalui EM
5. Model mana yang terkenal menggunakan tokenizer SentencePiece?
   • T5
   • GPT-2
   • ELMo
   • sarung tangan
6. Keuntungan apa yang diberikan fallback tingkat byte pada SentencePiece?
   • Itu membuat model berlatih lebih cepat
   • Ini menjamin karakter apa pun dapat terwakili, menghindari kegagalan di luar kosakata
   • Ini menghilangkan kebutuhan akan perhatian
   • Ini menggandakan ukuran kosakata secara otomatis
7. What kind of input can SentencePiece use to train a subword model directly?
   • Only text already converted to English word tokens
   • Only a fixed dictionary of complete words
   • Raw sentences, without first splitting them into word sequences
   • Only character-frequency tables with no sentence data
8. Why is a language-independent tokenizer useful for multilingual text?
   • It translates every input into one language before tokenizing
   • It assigns the same meaning to every token in every language
   • It removes the need for a model vocabulary
   • The same tokenizer pipeline can process scripts without requiring language-specific word segmentation