Kuis Pengkodean Pasangan Tokenisasi dan Byte

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Apa yang dihasilkan tokenisasi untuk dibaca oleh model bahasa?
   • Token, yaitu ID bilangan bulat yang dipetakan ke potongan teks
   • Bentuk gelombang audio mentah
   • Jaringan piksel
   • Kode mesin yang dikompilasi
2. Bagaimana Byte Pair Encoding membangun kosakatanya?
   • Dengan menetapkan satu token per seluruh kata dalam kamus
   • Dengan menggabungkan berulang kali pasangan simbol berdekatan yang paling sering muncul
   • Dengan mengelompokkan karakter secara acak
   • Dengan menerjemahkan teks ke bahasa lain terlebih dahulu
3. Masalah apa yang dipecahkan oleh metode subkata seperti BPE dibandingkan dengan tokenisasi tingkat kata?
   • Mereka membuat setiap kalimat tepat satu tanda
   • Mereka menghilangkan kebutuhan akan kosakata apa pun
   • Mereka menangani kata-kata yang jarang atau tidak terlihat dengan membaginya menjadi bagian-bagian yang dapat digunakan kembali
   • Mereka hanya bekerja untuk bahasa Inggris
4. Apa keuntungan BPE tingkat byte, seperti yang digunakan dalam model GPT?
   • Metode ini menggunakan lebih sedikit token dibandingkan metode lainnya untuk semua bahasa
   • Ini menghilangkan kebutuhan untuk melatih model
   • Itu hanya mengkodekan huruf bahasa Inggris
   • Itu dapat mewakili teks Unicode apa pun, termasuk emoji dan bahasa apa pun, tanpa kegagalan di luar kosakata
5. Mengapa jumlah token model sering kali berbeda dengan jumlah kata dalam kalimat?
   • Spasi, huruf besar, dan kata-kata langka mengubah cara teks dipecah, dan satu kata dapat menjadi beberapa token
   • Token dihitung dalam bahasa acak
   • Setiap kata selalu terdiri dari dua token
   • Jumlah token hanya bergantung pada tanda baca
6. Dari bidang manakah algoritma Byte Pair Encoding awalnya dipinjam?
   • Rendering gambar
   • Kompresi data
   • Pengindeksan basis data
   • Kriptografi
7. After BPE training creates its vocabulary, what does an encoder use to tokenize new text?
   • A new merge ranking learned separately for each sentence
   • A dictionary of whole words only
   • The learned vocabulary and ordered merge rules applied to the input symbols
   • A translation table that changes the text language
8. Why can byte-level BPE encode a character it never saw as a whole token during training?
   • The tokenizer invents new model parameters for each character
   • It drops every unseen character
   • The model automatically translates it to English first
   • The UTF-8 input can be represented as a sequence of bytes from a finite base alphabet