แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบการสร้างโทเค็น Word Piece

ทบทวนคำศัพท์ของ Word Piece และกฎการแบ่งส่วนอันละโมบ รวมถึงบทบาทใน BERT ที่พูดได้หลายภาษา และความแตกต่างกับ BPE

เส้นทางแนะนำที่เกี่ยวข้องการสร้างโทเค็น Wordpiece
คำถาม 1 ของ 8

คำนำหน้า '##' ระบุอะไรในเอาต์พุต Word Piece

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. คำนำหน้า '##' ระบุอะไรในเอาต์พุต Word Piece
    • โทเค็นเป็นส่วนต่อเนื่องภายในคำ ไม่ใช่คำเริ่มต้น
    • โทเค็นเป็นตัวคั่นพิเศษเช่น [SEP]
    • โทเค็นมีความถี่สูงสุดในคำศัพท์
    • โทเค็นเป็นเครื่องหมายนอกคำศัพท์ที่ไม่รู้จัก
  2. คำศัพท์ Word Piece ที่ใช้โดย BERT ดั้งเดิมมีขนาดใหญ่เพียงใด
    • ประมาณ 256 โทเค็น
    • ประมาณ 30,000 โทเค็น
    • ประมาณ 1 ล้านโทเค็น
    • ประมาณ 500 โทเค็น
  3. เกณฑ์การรวมของ Word Piece แตกต่างจากการเข้ารหัส Byte-Pair มาตรฐานอย่างไร
    • ผสานคู่ที่หายากที่สุดเพื่อลดคำศัพท์
    • มันไม่เคยผสานและใช้เพียงอักขระเท่านั้น
    • โดยจะผสานรวมโดยการเพิ่มความเป็นไปได้ของข้อมูลการฝึกอบรมให้สูงสุดแทนที่จะเป็นความถี่ดิบ
    • มันจะรวมคู่แบบสุ่มระหว่างการฝึก
  4. What does a BERT-style WordPiece tokenizer return if it cannot segment a word into vocabulary pieces?
    • It always falls back to individual Unicode characters
    • A random subword selected from the vocabulary
    • The original word encoded as one new token
    • The unknown-token marker, such as [UNK]
  5. ในเวลาอนุมาน Word Piece เลือกวิธีแยกคำอย่างไร
    • มันจับคู่คำย่อยที่ยาวที่สุดในคำศัพท์อย่างตะกละตะกลามจากซ้ายไปขวา
    • โดยจะเลือกชิ้นส่วนที่สั้นที่สุดเท่าที่จะเป็นไปได้ก่อน
    • มันพยายามแยกทุกความเป็นไปได้และหาค่าเฉลี่ย
    • ใช้โครงข่ายประสาทเทียมเพื่อทำนายการแยก
  6. Word Piece ตระกูลโมเดลที่มีชื่อเสียงตระกูลใดที่เกี่ยวข้องมากที่สุด
    • รุ่น GPT
    • BERT และอนุพันธ์ของมัน
    • โมเดลลามะ
    • Stable Diffusion
  7. What kind of vocabulary did multilingual BERT use across its training languages?
    • A completely separate vocabulary for every language
    • A vocabulary made only of complete words
    • One shared WordPiece vocabulary
    • A list of byte sequences with no subwords
  8. Which tokenizer class in Hugging Face Transformers constructs a BERT tokenizer that uses WordPiece?
    • GPT2Tokenizer
    • RobertaTokenizer
    • CLIPTokenizer
    • BertTokenizer