Bài kiểm tra mã hóa cặp byte và token hóa

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Mã thông báo tạo ra điều gì để mô hình ngôn ngữ có thể đọc được?
   • Mã thông báo, là ID số nguyên được ánh xạ tới các đoạn văn bản
   • Dạng sóng âm thanh thô
   • Lưới pixel
   • Mã máy được biên dịch
2. Mã hóa cặp Byte xây dựng vốn từ vựng của nó như thế nào?
   • Bằng cách gán một mã thông báo cho toàn bộ từ trong từ điển
   • Bằng cách liên tục hợp nhất cặp ký hiệu liền kề thường xuyên nhất
   • Bằng cách nhóm các ký tự ngẫu nhiên
   • Bằng cách dịch văn bản sang ngôn ngữ khác trước
3. Các phương thức từ phụ như BPE giải quyết vấn đề gì so với mã thông báo cấp độ từ?
   • Họ đặt mỗi câu đúng một mã thông báo
   • Chúng loại bỏ sự cần thiết của bất kỳ từ vựng nào
   • Họ xử lý những từ hiếm hoặc không thể nhìn thấy bằng cách chia chúng thành những đoạn có thể tái sử dụng
   • Họ chỉ làm việc cho tiếng Anh
4. Ưu điểm của BPE cấp byte được sử dụng trong các mô hình GPT là gì?
   • Nó sử dụng ít mã thông báo hơn bất kỳ phương pháp nào khác cho tất cả các ngôn ngữ
   • Nó loại bỏ sự cần thiết phải đào tạo mô hình
   • Nó chỉ mã hóa các chữ cái tiếng Anh
   • Nó có thể đại diện cho bất kỳ văn bản Unicode nào, bao gồm biểu tượng cảm xúc và bất kỳ ngôn ngữ nào, không có lỗi ngoài từ vựng
5. Tại sao số lượng mã thông báo của mô hình thường khác với số từ trong câu?
   • Dấu cách, cách viết hoa và các từ hiếm thay đổi cách phân chia văn bản và một từ có thể trở thành nhiều mã thông báo
   • Token được tính bằng ngôn ngữ ngẫu nhiên
   • Mỗi từ luôn có đúng hai mã thông báo
   • Số lượng mã thông báo chỉ phụ thuộc vào dấu câu
6. Thuật toán mã hóa cặp byte ban đầu được mượn từ trường nào?
   • Kết xuất hình ảnh
   • nén dữ liệu
   • Lập chỉ mục cơ sở dữ liệu
   • mật mã
7. After BPE training creates its vocabulary, what does an encoder use to tokenize new text?
   • A new merge ranking learned separately for each sentence
   • A dictionary of whole words only
   • The learned vocabulary and ordered merge rules applied to the input symbols
   • A translation table that changes the text language
8. Why can byte-level BPE encode a character it never saw as a whole token during training?
   • The tokenizer invents new model parameters for each character
   • It drops every unseen character
   • The model automatically translates it to English first
   • The UTF-8 input can be represented as a sequence of bytes from a finite base alphabet