แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบโมเดลระดับไบต์แบบไม่มี Tokenizer

เข้าใจโมเดลภาษาที่ใช้ raw-byte, แพตช์ที่ใช้ entropy ของ BLT, และการแลกเปลี่ยนประสิทธิภาพและการครอบคลุมเมื่อเอา vocab token คงที่ออก

เส้นทางแนะนำที่เกี่ยวข้องโมเดลระดับไบต์ฟรี Tokenizer
คำถาม 1 ของ 8

โมเดลระดับไบต์ที่ไม่มีโทเค็นอ่านเป็นหน่วยอินพุตอะไร

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. โมเดลระดับไบต์ที่ไม่มีโทเค็นอ่านเป็นหน่วยอินพุตอะไร
    • ไบต์ดิบ (ค่า UTF-8 0-255)
    • คำย่อยจากคำศัพท์คงที่
    • คำทั้งหมดคั่นด้วยช่องว่าง
    • การฝังที่คำนวณไว้ล่วงหน้าเท่านั้น
  2. ข้อเสียเปรียบหลักในทางปฏิบัติของการป้อนไบต์ดิบให้กับหม้อแปลงมาตรฐานคืออะไร?
    • ไบต์ไม่สามารถแสดงข้อความที่ไม่ใช่ภาษาอังกฤษได้
    • ลำดับจะยาวขึ้นมาก ทำให้ต้นทุนการประมวลผลเพิ่มขึ้น
    • มีค่าไบต์ที่เป็นไปได้มากเกินไปที่จะฝัง
    • ไบต์สูญเสียความหมายของคำทั้งหมดอย่างถาวร
  3. Byte Latent Transformer (BLT) ตัดสินใจได้อย่างไรว่าจะจัดกลุ่มไบต์เป็นแพทช์อย่างไร
    • โดยแยกอักขระทุกตัวในช่องว่าง
    • ใช้ขนาดแพทช์คงที่ 4 ไบต์
    • ขึ้นอยู่กับเอนโทรปีการทำนายระดับไบต์ (ความไม่แน่นอน)
    • สุ่มระหว่างการส่งต่อแต่ละครั้ง
  4. Why can a fixed subword vocabulary use more tokens for some languages than others?
    • Subword tokenizers only accept ASCII
    • All languages have identical token boundaries
    • They cannot represent numerals
    • Its token inventory may reflect the language distribution in the data used to build it
  5. What does removing a fixed tokenizer guarantee about byte-level input?
    • The same byte alphabet can represent text from different scripts, while learned language ability still depends on data
    • The model understands every language without training data
    • It guarantees equal performance for all scripts
    • The model no longer needs a vocabulary or learned embeddings
  6. รุ่นก่อนหน้าใดที่แสดงให้เห็นถึงการประมวลผลระดับไบต์ แต่ถูกวิพากษ์วิจารณ์ว่าช้า
    • เบิร์ต
    • ByT5
    • Word2Vec
    • GPT-2
  7. What representations does BLT’s large global Transformer process?
    • Individual words from a fixed subword vocabulary only
    • พิกเซลของภาพ
    • Dynamically sized byte patches
    • Robot joint-angle commands
  8. Which components surround the global Transformer in BLT?
    • A reward model and a value network
    • A speech vocoder and a spectrogram
    • A camera and a lidar sensor
    • A local byte encoder and a local byte decoder