แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบการเข้ารหัสโทเค็นและการเข้ารหัสคู่ไบต์

ทดสอบ ID โทเค็น, การรวม BPE ตามความถี่, การครอบคลุมระดับไบต์, ลำดับการรวม และสาเหตุที่จำนวนโทเค็นแตกต่างจากจำนวนคำ

เส้นทางแนะนำที่เกี่ยวข้องTokenization และการเข้ารหัสคู่ไบต์
คำถาม 1 ของ 8

โทเค็นไนซ์สร้างอะไรให้โมเดลภาษาอ่านได้

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. โทเค็นไนซ์สร้างอะไรให้โมเดลภาษาอ่านได้
    • โทเค็น ซึ่งเป็นรหัสจำนวนเต็มที่แมปกับส่วนของข้อความ
    • รูปคลื่นเสียงดิบ
    • กริดพิกเซล
    • รหัสเครื่องที่คอมไพล์แล้ว
  2. Byte Pair Encoding สร้างคำศัพท์ได้อย่างไร
    • โดยการกำหนดหนึ่งโทเค็นต่อทั้งคำในพจนานุกรม
    • โดยการนำสัญลักษณ์คู่ที่อยู่ติดกันบ่อยที่สุดมารวมกันซ้ำๆ
    • โดยการสุ่มจัดกลุ่มตัวอักษร
    • โดยแปลข้อความเป็นภาษาอื่นก่อน
  3. วิธีคำย่อยเช่น BPE แก้ปัญหาอะไรได้บ้างเมื่อเปรียบเทียบกับโทเค็นระดับคำ
    • พวกเขาสร้างทุกประโยคให้เป็นโทเค็นเดียว
    • พวกเขาไม่จำเป็นต้องใช้คำศัพท์ใดๆ
    • พวกเขาจัดการกับคำที่หายากหรือมองไม่เห็นโดยแยกออกเป็นชิ้นส่วนที่นำมาใช้ซ้ำได้
    • พวกเขาทำงานเฉพาะภาษาอังกฤษเท่านั้น
  4. ข้อดีของ BPE ระดับไบต์ที่ใช้ในรุ่น GPT คืออะไร
    • ใช้โทเค็นน้อยกว่าวิธีอื่นสำหรับทุกภาษา
    • โดยไม่จำเป็นต้องฝึกโมเดลอีกต่อไป
    • มันเข้ารหัสเฉพาะตัวอักษรภาษาอังกฤษเท่านั้น
    • มันสามารถแสดงข้อความ Unicode ใด ๆ รวมถึงอิโมจิและภาษาใด ๆ โดยไม่มีความล้มเหลวของคำศัพท์
  5. เหตุใดการนับโทเค็นของโมเดลจึงมักจะแตกต่างจากจำนวนคำในประโยค
    • การเว้นวรรค การใช้อักษรตัวพิมพ์ใหญ่ และคำที่หายากจะเปลี่ยนวิธีการแยกข้อความ และคำเดียวสามารถกลายเป็นโทเค็นได้หลายรายการ
    • โทเค็นจะถูกนับในภาษาสุ่ม
    • แต่ละคำจะมีโทเค็นสองอันเสมอ
    • จำนวนโทเค็นจะขึ้นอยู่กับเครื่องหมายวรรคตอนเท่านั้น
  6. อัลกอริธึมการเข้ารหัสคู่ไบต์ถูกยืมมาจากฟิลด์ใด
    • การแสดงภาพ
    • การบีบอัดข้อมูล
    • การจัดทำดัชนีฐานข้อมูล
    • การเข้ารหัส
  7. After BPE training creates its vocabulary, what does an encoder use to tokenize new text?
    • A new merge ranking learned separately for each sentence
    • A dictionary of whole words only
    • The learned vocabulary and ordered merge rules applied to the input symbols
    • A translation table that changes the text language
  8. Why can byte-level BPE encode a character it never saw as a whole token during training?
    • The tokenizer invents new model parameters for each character
    • It drops every unseen character
    • The model automatically translates it to English first
    • The UTF-8 input can be represented as a sequence of bytes from a finite base alphabet