Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

Câu đố về mã thông báo WordPiece

Xem lại từ vựng và quy tắc phân đoạn tham lam của WordPiece, bao gồm vai trò của nó trong BERT đa ngôn ngữ và độ tương phản của nó với BPE.

Đường dẫn hướng dẫn liên quanToken hóa từ ngữ
Câu hỏi 1 của 8

Tiền tố '##' biểu thị điều gì trong đầu ra WordPiece?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Tiền tố '##' biểu thị điều gì trong đầu ra WordPiece?
    • Mã thông báo là phần tiếp theo bên trong một từ, không phải từ đầu
    • Mã thông báo là một dấu phân cách đặc biệt như [SEP]
    • Mã thông báo có tần suất cao nhất trong từ vựng
    • Mã thông báo là một điểm đánh dấu ngoài từ vựng không xác định
  2. Từ vựng WordPiece được BERT ban đầu sử dụng lớn đến mức nào?
    • Khoảng 256 token
    • Khoảng 30.000 token
    • Khoảng 1 triệu token
    • Khoảng 500 token
  3. Tiêu chí hợp nhất của WordPiece khác với Mã hóa cặp byte tiêu chuẩn như thế nào?
    • Nó hợp nhất cặp hiếm nhất để giảm vốn từ vựng
    • Nó không bao giờ hợp nhất và chỉ sử dụng các ký tự
    • Nó hợp nhất bằng cách tối đa hóa khả năng dữ liệu đào tạo thay vì tần số thô
    • Nó hợp nhất các cặp một cách ngẫu nhiên trong quá trình đào tạo
  4. What does a BERT-style WordPiece tokenizer return if it cannot segment a word into vocabulary pieces?
    • It always falls back to individual Unicode characters
    • A random subword selected from the vocabulary
    • The original word encoded as one new token
    • The unknown-token marker, such as [UNK]
  5. Tại thời điểm suy luận, WordPiece chọn cách tách một từ như thế nào?
    • Nó khớp với từ phụ dài nhất trong từ vựng một cách tham lam, từ trái sang phải
    • Nó chọn những phần ngắn nhất có thể trước tiên
    • Nó thử mọi cách phân chia có thể và tính trung bình chúng
    • Nó sử dụng mạng lưới thần kinh để dự đoán sự phân chia
  6. WordPiece gắn liền với gia đình người mẫu nổi tiếng nào nhất?
    • mô hình GPT
    • BERT và các dẫn xuất của nó
    • mô hình LLaMA
    • Stable Diffusion
  7. What kind of vocabulary did multilingual BERT use across its training languages?
    • A completely separate vocabulary for every language
    • A vocabulary made only of complete words
    • One shared WordPiece vocabulary
    • A list of byte sequences with no subwords
  8. Which tokenizer class in Hugging Face Transformers constructs a BERT tokenizer that uses WordPiece?
    • GPT2Tokenizer
    • RobertaTokenizer
    • CLIPTokenizer
    • BertTokenizer