Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

Tokenization Disparities Across Languages Quiz

Tests why tokenizers split some languages into more tokens, how that affects cost and context windows, and how to audit and reduce the gap.

Câu hỏi 1 của 8

Nguyên nhân chính gây ra khoảng cách lớn về số lượng mã thông báo giữa các ngôn ngữ là gì?