แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบโมเดลระดับไบต์แบบไม่มี Tokenizer
เข้าใจโมเดลภาษาที่ใช้ raw-byte, แพตช์ที่ใช้ entropy ของ BLT, และการแลกเปลี่ยนประสิทธิภาพและการครอบคลุมเมื่อเอา vocab token คงที่ออก
คำถาม 1 ของ 8
โมเดลระดับไบต์ที่ไม่มีโทเค็นอ่านเป็นหน่วยอินพุตอะไร
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- โมเดลระดับไบต์ที่ไม่มีโทเค็นอ่านเป็นหน่วยอินพุตอะไร
- ไบต์ดิบ (ค่า UTF-8 0-255)
- คำย่อยจากคำศัพท์คงที่
- คำทั้งหมดคั่นด้วยช่องว่าง
- การฝังที่คำนวณไว้ล่วงหน้าเท่านั้น
- ข้อเสียเปรียบหลักในทางปฏิบัติของการป้อนไบต์ดิบให้กับหม้อแปลงมาตรฐานคืออะไร?
- ไบต์ไม่สามารถแสดงข้อความที่ไม่ใช่ภาษาอังกฤษได้
- ลำดับจะยาวขึ้นมาก ทำให้ต้นทุนการประมวลผลเพิ่มขึ้น
- มีค่าไบต์ที่เป็นไปได้มากเกินไปที่จะฝัง
- ไบต์สูญเสียความหมายของคำทั้งหมดอย่างถาวร
- Byte Latent Transformer (BLT) ตัดสินใจได้อย่างไรว่าจะจัดกลุ่มไบต์เป็นแพทช์อย่างไร
- โดยแยกอักขระทุกตัวในช่องว่าง
- ใช้ขนาดแพทช์คงที่ 4 ไบต์
- ขึ้นอยู่กับเอนโทรปีการทำนายระดับไบต์ (ความไม่แน่นอน)
- สุ่มระหว่างการส่งต่อแต่ละครั้ง
- Why can a fixed subword vocabulary use more tokens for some languages than others?
- Subword tokenizers only accept ASCII
- All languages have identical token boundaries
- They cannot represent numerals
- Its token inventory may reflect the language distribution in the data used to build it
- What does removing a fixed tokenizer guarantee about byte-level input?
- The same byte alphabet can represent text from different scripts, while learned language ability still depends on data
- The model understands every language without training data
- It guarantees equal performance for all scripts
- The model no longer needs a vocabulary or learned embeddings
- รุ่นก่อนหน้าใดที่แสดงให้เห็นถึงการประมวลผลระดับไบต์ แต่ถูกวิพากษ์วิจารณ์ว่าช้า
- เบิร์ต
- ByT5
- Word2Vec
- GPT-2
- What representations does BLT’s large global Transformer process?
- Individual words from a fixed subword vocabulary only
- พิกเซลของภาพ
- Dynamically sized byte patches
- Robot joint-angle commands
- Which components surround the global Transformer in BLT?
- A reward model and a value network
- A speech vocoder and a spectrogram
- A camera and a lidar sensor
- A local byte encoder and a local byte decoder