Kuiz berkaitan panduan · Sederhana Tahap

Kuiz Tokenisasi WordPiece

Semak perbendaharaan kata WordPiece dan peraturan segmentasi tamak, termasuk peranannya dalam BERT berbilang bahasa dan kontrasnya dengan BPE.

Laluan panduan yang berkaitanTokenisasi Wordpiece
soalan 1 daripada 8

Apakah yang ditunjukkan oleh awalan '##' dalam output WordPiece?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah yang ditunjukkan oleh awalan '##' dalam output WordPiece?
    • Token ialah sekeping kesinambungan di dalam perkataan, bukan kata-awal
    • Token ialah pemisah khas seperti [SEP]
    • Token mempunyai kekerapan tertinggi dalam perbendaharaan kata
    • Token ialah penanda kehabisan kata yang tidak diketahui
  2. Secara kasar berapa besar perbendaharaan kata WordPiece yang digunakan oleh BERT asal?
    • Kira-kira 256 token
    • Kira-kira 30,000 token
    • Kira-kira 1 juta token
    • Kira-kira 500 token
  3. Bagaimanakah kriteria penggabungan WordPiece berbeza daripada Pengekodan Byte-Pair standard?
    • Ia menggabungkan pasangan paling jarang untuk mengurangkan perbendaharaan kata
    • Ia tidak pernah bergabung dan hanya menggunakan aksara
    • Ia bergabung dengan memaksimumkan kemungkinan latihan-data dan bukannya kekerapan mentah
    • Ia menggabungkan pasangan secara rawak semasa latihan
  4. What does a BERT-style WordPiece tokenizer return if it cannot segment a word into vocabulary pieces?
    • It always falls back to individual Unicode characters
    • A random subword selected from the vocabulary
    • The original word encoded as one new token
    • The unknown-token marker, such as [UNK]
  5. Pada masa inferens, bagaimanakah WordPiece memilih cara untuk memisahkan perkataan?
    • Ia sepadan dengan subkata terpanjang dalam perbendaharaan kata dengan rakus, kiri ke kanan
    • Ia memilih kepingan terpendek dahulu
    • Ia mencuba setiap pembahagian yang mungkin dan meratakannya
    • Ia menggunakan rangkaian saraf untuk meramalkan perpecahan
  6. Keluarga model terkenal manakah yang paling dikaitkan dengan WordPiece?
    • model GPT
    • BERT dan derivatifnya
    • model LLaMA
    • Stable Diffusion
  7. What kind of vocabulary did multilingual BERT use across its training languages?
    • A completely separate vocabulary for every language
    • A vocabulary made only of complete words
    • One shared WordPiece vocabulary
    • A list of byte sequences with no subwords
  8. Which tokenizer class in Hugging Face Transformers constructs a BERT tokenizer that uses WordPiece?
    • GPT2Tokenizer
    • RobertaTokenizer
    • CLIPTokenizer
    • BertTokenizer