แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบการเข้ารหัสโทเค็นและการเข้ารหัสคู่ไบต์
ทดสอบ ID โทเค็น, การรวม BPE ตามความถี่, การครอบคลุมระดับไบต์, ลำดับการรวม และสาเหตุที่จำนวนโทเค็นแตกต่างจากจำนวนคำ
คำถาม 1 ของ 8
โทเค็นไนซ์สร้างอะไรให้โมเดลภาษาอ่านได้
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- โทเค็นไนซ์สร้างอะไรให้โมเดลภาษาอ่านได้
- โทเค็น ซึ่งเป็นรหัสจำนวนเต็มที่แมปกับส่วนของข้อความ
- รูปคลื่นเสียงดิบ
- กริดพิกเซล
- รหัสเครื่องที่คอมไพล์แล้ว
- Byte Pair Encoding สร้างคำศัพท์ได้อย่างไร
- โดยการกำหนดหนึ่งโทเค็นต่อทั้งคำในพจนานุกรม
- โดยการนำสัญลักษณ์คู่ที่อยู่ติดกันบ่อยที่สุดมารวมกันซ้ำๆ
- โดยการสุ่มจัดกลุ่มตัวอักษร
- โดยแปลข้อความเป็นภาษาอื่นก่อน
- วิธีคำย่อยเช่น BPE แก้ปัญหาอะไรได้บ้างเมื่อเปรียบเทียบกับโทเค็นระดับคำ
- พวกเขาสร้างทุกประโยคให้เป็นโทเค็นเดียว
- พวกเขาไม่จำเป็นต้องใช้คำศัพท์ใดๆ
- พวกเขาจัดการกับคำที่หายากหรือมองไม่เห็นโดยแยกออกเป็นชิ้นส่วนที่นำมาใช้ซ้ำได้
- พวกเขาทำงานเฉพาะภาษาอังกฤษเท่านั้น
- ข้อดีของ BPE ระดับไบต์ที่ใช้ในรุ่น GPT คืออะไร
- ใช้โทเค็นน้อยกว่าวิธีอื่นสำหรับทุกภาษา
- โดยไม่จำเป็นต้องฝึกโมเดลอีกต่อไป
- มันเข้ารหัสเฉพาะตัวอักษรภาษาอังกฤษเท่านั้น
- มันสามารถแสดงข้อความ Unicode ใด ๆ รวมถึงอิโมจิและภาษาใด ๆ โดยไม่มีความล้มเหลวของคำศัพท์
- เหตุใดการนับโทเค็นของโมเดลจึงมักจะแตกต่างจากจำนวนคำในประโยค
- การเว้นวรรค การใช้อักษรตัวพิมพ์ใหญ่ และคำที่หายากจะเปลี่ยนวิธีการแยกข้อความ และคำเดียวสามารถกลายเป็นโทเค็นได้หลายรายการ
- โทเค็นจะถูกนับในภาษาสุ่ม
- แต่ละคำจะมีโทเค็นสองอันเสมอ
- จำนวนโทเค็นจะขึ้นอยู่กับเครื่องหมายวรรคตอนเท่านั้น
- อัลกอริธึมการเข้ารหัสคู่ไบต์ถูกยืมมาจากฟิลด์ใด
- การแสดงภาพ
- การบีบอัดข้อมูล
- การจัดทำดัชนีฐานข้อมูล
- การเข้ารหัส
- After BPE training creates its vocabulary, what does an encoder use to tokenize new text?
- A new merge ranking learned separately for each sentence
- A dictionary of whole words only
- The learned vocabulary and ordered merge rules applied to the input symbols
- A translation table that changes the text language
- Why can byte-level BPE encode a character it never saw as a whole token during training?
- The tokenizer invents new model parameters for each character
- It drops every unseen character
- The model automatically translates it to English first
- The UTF-8 input can be represented as a sequence of bytes from a finite base alphabet