Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

Bài kiểm tra về mô hình cấp byte không có tokenizer

Hiểu các mô hình ngôn ngữ byte thô, các bản vá dựa trên entropy của BLT cũng như sự đánh đổi về hiệu quả và phạm vi phủ sóng của việc loại bỏ các từ vựng về mã thông báo cố định.

Đường dẫn hướng dẫn liên quanMô hình cấp độ byte miễn phí của Tokenizer
Câu hỏi 1 của 8

Mô hình cấp byte không có mã thông báo đọc đơn vị đầu vào là gì?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Mô hình cấp byte không có mã thông báo đọc đơn vị đầu vào là gì?
    • Byte thô (giá trị UTF-8 0-255)
    • Từ phụ từ từ một từ vựng cố định
    • Toàn bộ các từ cách nhau bởi dấu cách
    • Chỉ các phần nhúng được tính toán trước
  2. Hạn chế thực tế chính của việc cung cấp byte thô cho máy biến áp tiêu chuẩn là gì?
    • Byte không thể đại diện cho văn bản không phải tiếng Anh
    • Các chuỗi trở nên dài hơn nhiều, làm tăng chi phí tính toán
    • Có quá nhiều giá trị byte có thể được nhúng
    • Byte mất tất cả ý nghĩa của từ vĩnh viễn
  3. Làm thế nào để Bộ biến đổi tiềm ẩn Byte (BLT) quyết định vị trí nhóm byte thành các bản vá?
    • Bằng cách chia nhỏ từng ký tự khoảng trắng
    • Sử dụng kích thước bản vá cố định là 4 byte
    • Dựa trên entropy dự đoán cấp byte (không chắc chắn)
    • Ngẫu nhiên trong mỗi lần chuyển tiếp
  4. Tại sao một từ vựng từ phụ cố định có thể sử dụng nhiều token hơn cho một số ngôn ngữ so với các ngôn ngữ khác?
    • Subword tokenizers only accept ASCII
    • All languages have identical token boundaries
    • They cannot represent numerals
    • Its token inventory may reflect the language distribution in the data used to build it
  5. Việc loại bỏ một tokenizer cố định đảm bảo điều gì về đầu vào cấp độ byte?
    • The same byte alphabet can represent text from different scripts, while learned language ability still depends on data
    • The model understands every language without training data
    • It guarantees equal performance for all scripts
    • The model no longer needs a vocabulary or learned embeddings
  6. Mô hình nào trước đây đã thể hiện khả năng xử lý cấp byte nhưng bị chỉ trích là chậm?
    • BERT
    • ByT5
    • Word2Vec
    • GPT-2
  7. What representations does BLT’s large global Transformer process?
    • Individual words from a fixed subword vocabulary only
    • Pixel hình ảnh
    • Dynamically sized byte patches
    • Robot joint-angle commands
  8. Which components surround the global Transformer in BLT?
    • A reward model and a value network
    • A speech vocoder and a spectrogram
    • A camera and a lidar sensor
    • A local byte encoder and a local byte decoder