แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบ Tokenization ของประโยค

ทบทวนการฝึกอบรมข้อความดิบ การเว้นวรรคแบบพลิกกลับได้ อัลกอริธึมคำศัพท์ และไบต์ทางเลือกสำหรับการประมวลผลข้อความหลายภาษา

เส้นทางแนะนำที่เกี่ยวข้องTokenization ประโยค
คำถาม 1 ของ 8

สมมติฐานหลักใดที่ Sentence Piece หลีกเลี่ยงการใช้โทเค็นแบบดั้งเดิมที่ต้องพึ่งพา

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. สมมติฐานหลักใดที่ Sentence Piece หลีกเลี่ยงการใช้โทเค็นแบบดั้งเดิมที่ต้องพึ่งพา
    • คำนั้นคั่นด้วยช่องว่าง
    • ข้อความนั้นถูกเข้ารหัสในรูปแบบ UTF-8
    • ประโยคนั้นลงท้ายด้วยเครื่องหมายวรรคตอน
    • ว่ามีการกำหนดคำศัพท์ไว้ล่วงหน้า
  2. เหตุใด Sentence Piece จึงแทนที่ช่องว่างด้วยสัญลักษณ์เมตาที่มองเห็นได้
    • เพื่อบีบอัดข้อความให้รุนแรงยิ่งขึ้น
    • เพื่อให้โทเค็นสามารถย้อนกลับได้อย่างสมบูรณ์ (แบบไม่สูญเสีย)
    • เพื่อลบเครื่องหมายวรรคตอนทั้งหมดโดยอัตโนมัติ
    • เพื่อแปลระหว่างภาษาต่างๆ
  3. Sentence Piece รองรับอัลกอริธึมสองตัวใดเป็นหลัก
    • TF-IDF และ Word2Vec
    • LSTM และซีเอ็นเอ็น
    • BPE และโมเดลภาษา Unigram
    • เคมีนและ PCA
  4. โมเดล Unigram สร้างคำศัพท์ได้อย่างไร
    • โดยเริ่มจากการเว้นว่างและรวมคู่อักขระที่ใช้บ่อยเข้าด้วยกัน
    • โดยการคัดลอกพจนานุกรมภาษาอังกฤษ
    • โดยใช้รายการคงที่จำนวน 1,000 คำ
    • โดยเริ่มจากขนาดใหญ่และตัดแต่งส่วนที่มีประโยชน์น้อยที่สุดโดยใช้ EM
  5. โมเดลใดที่มีชื่อเสียงในการใช้โทเค็น SentencePiece?
    • T5
    • GPT-2
    • เอลโม
    • ถุงมือ
  6. ทางเลือกสำรองระดับไบต์ให้ประโยชน์อะไรกับ Sentence Piece
    • มันทำให้รถไฟจำลองเร็วขึ้น
    • รับประกันว่าจะสามารถแสดงอักขระใดๆ ได้ เพื่อหลีกเลี่ยงความล้มเหลวในการใช้คำศัพท์
    • มันขจัดความต้องการความสนใจ
    • มันเพิ่มขนาดคำศัพท์เป็นสองเท่าโดยอัตโนมัติ
  7. What kind of input can SentencePiece use to train a subword model directly?
    • Only text already converted to English word tokens
    • Only a fixed dictionary of complete words
    • Raw sentences, without first splitting them into word sequences
    • Only character-frequency tables with no sentence data
  8. Why is a language-independent tokenizer useful for multilingual text?
    • It translates every input into one language before tokenizing
    • It assigns the same meaning to every token in every language
    • It removes the need for a model vocabulary
    • The same tokenizer pipeline can process scripts without requiring language-specific word segmentation