แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบ Tokenization ของประโยค
ทบทวนการฝึกอบรมข้อความดิบ การเว้นวรรคแบบพลิกกลับได้ อัลกอริธึมคำศัพท์ และไบต์ทางเลือกสำหรับการประมวลผลข้อความหลายภาษา
คำถาม 1 ของ 8
สมมติฐานหลักใดที่ Sentence Piece หลีกเลี่ยงการใช้โทเค็นแบบดั้งเดิมที่ต้องพึ่งพา
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- สมมติฐานหลักใดที่ Sentence Piece หลีกเลี่ยงการใช้โทเค็นแบบดั้งเดิมที่ต้องพึ่งพา
- คำนั้นคั่นด้วยช่องว่าง
- ข้อความนั้นถูกเข้ารหัสในรูปแบบ UTF-8
- ประโยคนั้นลงท้ายด้วยเครื่องหมายวรรคตอน
- ว่ามีการกำหนดคำศัพท์ไว้ล่วงหน้า
- เหตุใด Sentence Piece จึงแทนที่ช่องว่างด้วยสัญลักษณ์เมตาที่มองเห็นได้
- เพื่อบีบอัดข้อความให้รุนแรงยิ่งขึ้น
- เพื่อให้โทเค็นสามารถย้อนกลับได้อย่างสมบูรณ์ (แบบไม่สูญเสีย)
- เพื่อลบเครื่องหมายวรรคตอนทั้งหมดโดยอัตโนมัติ
- เพื่อแปลระหว่างภาษาต่างๆ
- Sentence Piece รองรับอัลกอริธึมสองตัวใดเป็นหลัก
- TF-IDF และ Word2Vec
- LSTM และซีเอ็นเอ็น
- BPE และโมเดลภาษา Unigram
- เคมีนและ PCA
- โมเดล Unigram สร้างคำศัพท์ได้อย่างไร
- โดยเริ่มจากการเว้นว่างและรวมคู่อักขระที่ใช้บ่อยเข้าด้วยกัน
- โดยการคัดลอกพจนานุกรมภาษาอังกฤษ
- โดยใช้รายการคงที่จำนวน 1,000 คำ
- โดยเริ่มจากขนาดใหญ่และตัดแต่งส่วนที่มีประโยชน์น้อยที่สุดโดยใช้ EM
- โมเดลใดที่มีชื่อเสียงในการใช้โทเค็น SentencePiece?
- T5
- GPT-2
- เอลโม
- ถุงมือ
- ทางเลือกสำรองระดับไบต์ให้ประโยชน์อะไรกับ Sentence Piece
- มันทำให้รถไฟจำลองเร็วขึ้น
- รับประกันว่าจะสามารถแสดงอักขระใดๆ ได้ เพื่อหลีกเลี่ยงความล้มเหลวในการใช้คำศัพท์
- มันขจัดความต้องการความสนใจ
- มันเพิ่มขนาดคำศัพท์เป็นสองเท่าโดยอัตโนมัติ
- What kind of input can SentencePiece use to train a subword model directly?
- Only text already converted to English word tokens
- Only a fixed dictionary of complete words
- Raw sentences, without first splitting them into word sequences
- Only character-frequency tables with no sentence data
- Why is a language-independent tokenizer useful for multilingual text?
- It translates every input into one language before tokenizing
- It assigns the same meaning to every token in every language
- It removes the need for a model vocabulary
- The same tokenizer pipeline can process scripts without requiring language-specific word segmentation