Kuis terkait panduan · Sedang Tingkat

Kuis Tokenisasi WordPiece

Tinjau kosakata WordPiece dan aturan segmentasi serakah, termasuk perannya dalam BERT multibahasa dan kontrasnya dengan BPE.

Jalur panduan terkaitTokenisasi Kata
Pertanyaan 1 dari 8

Apa yang ditunjukkan oleh awalan '##' dalam keluaran WordPiece?

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. Apa yang ditunjukkan oleh awalan '##' dalam keluaran WordPiece?
    • Token adalah bagian lanjutan di dalam sebuah kata, bukan inisial kata
    • Tokennya adalah pemisah khusus seperti [SEP]
    • Token tersebut memiliki frekuensi tertinggi dalam kosa kata
    • Token adalah penanda di luar kosa kata yang tidak diketahui
  2. Kira-kira seberapa besar kosakata WordPiece yang digunakan BERT asli?
    • Sekitar 256 token
    • Sekitar 30.000 token
    • Sekitar 1 juta token
    • Sekitar 500 token
  3. Apa perbedaan kriteria penggabungan WordPiece dengan Pengkodean Byte-Pair standar?
    • Ini menggabungkan pasangan paling langka untuk mengurangi kosakata
    • Itu tidak pernah menyatu dan hanya menggunakan karakter
    • Ini digabungkan dengan memaksimalkan kemungkinan data pelatihan, bukan frekuensi mentah
    • Ini menggabungkan pasangan secara acak selama pelatihan
  4. What does a BERT-style WordPiece tokenizer return if it cannot segment a word into vocabulary pieces?
    • It always falls back to individual Unicode characters
    • A random subword selected from the vocabulary
    • The original word encoded as one new token
    • The unknown-token marker, such as [UNK]
  5. Pada waktu inferensi, bagaimana WordPiece memilih cara membagi kata?
    • Ini cocok dengan subkata terpanjang dalam kosakata dengan rakus, dari kiri ke kanan
    • Ia mengambil potongan sependek mungkin terlebih dahulu
    • Ia mencoba setiap kemungkinan pemisahan dan membuat rata-ratanya
    • Ia menggunakan jaringan saraf untuk memprediksi perpecahan
  6. Keluarga model terkenal manakah yang paling banyak diasosiasikan dengan WordPiece?
    • model GPT
    • BERT dan turunannya
    • model LLaMA
    • Stable Diffusion
  7. What kind of vocabulary did multilingual BERT use across its training languages?
    • A completely separate vocabulary for every language
    • A vocabulary made only of complete words
    • One shared WordPiece vocabulary
    • A list of byte sequences with no subwords
  8. Which tokenizer class in Hugging Face Transformers constructs a BERT tokenizer that uses WordPiece?
    • GPT2Tokenizer
    • RobertaTokenizer
    • CLIPTokenizer
    • BertTokenizer