Câu đố về mã thông báo SentencePiece

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. SentencePiece tránh giả định quan trọng nào mà các công cụ mã thông báo truyền thống dựa vào?
   • Các từ đó được phân tách bằng dấu cách
   • Văn bản đó được mã hóa bằng UTF-8
   • Câu đó kết thúc bằng dấu chấm câu
   • Rằng từ vựng được cố định trước
2. Tại sao SentencePiece thay thế dấu cách bằng ký hiệu meta hiển thị?
   • Để nén văn bản mạnh mẽ hơn
   • Để làm cho mã thông báo có thể đảo ngược hoàn toàn (không mất dữ liệu)
   • Để tự động xóa tất cả dấu câu
   • Để dịch giữa các ngôn ngữ
3. SentencePiece chủ yếu hỗ trợ hai thuật toán nào?
   • TF-IDF và Word2Vec
   • LSTM và CNN
   • BPE và mô hình ngôn ngữ Unigram
   • K-mean và PCA
4. Mô hình Unigram xây dựng vốn từ vựng của nó như thế nào?
   • Bằng cách bắt đầu trống và hợp nhất các cặp ký tự thường xuyên
   • Bằng cách sao chép từ điển tiếng Anh
   • Bằng cách sử dụng danh sách cố định gồm 1.000 từ
   • Bằng cách bắt đầu với quy mô lớn và cắt tỉa những phần ít hữu ích nhất thông qua EM
5. Mô hình nào nổi tiếng sử dụng mã thông báo SentencePiece?
   • T5
   • GPT-2
   • ELMo
   • GloVe
6. Dự phòng cấp byte mang lại lợi ích gì cho SentencePiece?
   • Nó làm cho mô hình đào tạo nhanh hơn
   • Nó đảm bảo bất kỳ ký tự nào cũng có thể được thể hiện, tránh các lỗi ngoài từ vựng
   • Nó loại bỏ sự cần thiết phải chú ý
   • Nó tự động tăng gấp đôi kích thước từ vựng
7. What kind of input can SentencePiece use to train a subword model directly?
   • Only text already converted to English word tokens
   • Only a fixed dictionary of complete words
   • Raw sentences, without first splitting them into word sequences
   • Only character-frequency tables with no sentence data
8. Why is a language-independent tokenizer useful for multilingual text?
   • It translates every input into one language before tokenizing
   • It assigns the same meaning to every token in every language
   • It removes the need for a model vocabulary
   • The same tokenizer pipeline can process scripts without requiring language-specific word segmentation