แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบการสร้างโทเค็น Word Piece
ทบทวนคำศัพท์ของ Word Piece และกฎการแบ่งส่วนอันละโมบ รวมถึงบทบาทใน BERT ที่พูดได้หลายภาษา และความแตกต่างกับ BPE
คำถาม 1 ของ 8
คำนำหน้า '##' ระบุอะไรในเอาต์พุต Word Piece
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- คำนำหน้า '##' ระบุอะไรในเอาต์พุต Word Piece
- โทเค็นเป็นส่วนต่อเนื่องภายในคำ ไม่ใช่คำเริ่มต้น
- โทเค็นเป็นตัวคั่นพิเศษเช่น [SEP]
- โทเค็นมีความถี่สูงสุดในคำศัพท์
- โทเค็นเป็นเครื่องหมายนอกคำศัพท์ที่ไม่รู้จัก
- คำศัพท์ Word Piece ที่ใช้โดย BERT ดั้งเดิมมีขนาดใหญ่เพียงใด
- ประมาณ 256 โทเค็น
- ประมาณ 30,000 โทเค็น
- ประมาณ 1 ล้านโทเค็น
- ประมาณ 500 โทเค็น
- เกณฑ์การรวมของ Word Piece แตกต่างจากการเข้ารหัส Byte-Pair มาตรฐานอย่างไร
- ผสานคู่ที่หายากที่สุดเพื่อลดคำศัพท์
- มันไม่เคยผสานและใช้เพียงอักขระเท่านั้น
- โดยจะผสานรวมโดยการเพิ่มความเป็นไปได้ของข้อมูลการฝึกอบรมให้สูงสุดแทนที่จะเป็นความถี่ดิบ
- มันจะรวมคู่แบบสุ่มระหว่างการฝึก
- What does a BERT-style WordPiece tokenizer return if it cannot segment a word into vocabulary pieces?
- It always falls back to individual Unicode characters
- A random subword selected from the vocabulary
- The original word encoded as one new token
- The unknown-token marker, such as [UNK]
- ในเวลาอนุมาน Word Piece เลือกวิธีแยกคำอย่างไร
- มันจับคู่คำย่อยที่ยาวที่สุดในคำศัพท์อย่างตะกละตะกลามจากซ้ายไปขวา
- โดยจะเลือกชิ้นส่วนที่สั้นที่สุดเท่าที่จะเป็นไปได้ก่อน
- มันพยายามแยกทุกความเป็นไปได้และหาค่าเฉลี่ย
- ใช้โครงข่ายประสาทเทียมเพื่อทำนายการแยก
- Word Piece ตระกูลโมเดลที่มีชื่อเสียงตระกูลใดที่เกี่ยวข้องมากที่สุด
- รุ่น GPT
- BERT และอนุพันธ์ของมัน
- โมเดลลามะ
- Stable Diffusion
- What kind of vocabulary did multilingual BERT use across its training languages?
- A completely separate vocabulary for every language
- A vocabulary made only of complete words
- One shared WordPiece vocabulary
- A list of byte sequences with no subwords
- Which tokenizer class in Hugging Face Transformers constructs a BERT tokenizer that uses WordPiece?
- GPT2Tokenizer
- RobertaTokenizer
- CLIPTokenizer
- BertTokenizer