Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

Câu đố về sự chênh lệch về mã thông báo giữa các ngôn ngữ

Kiểm tra lý do tại sao trình tạo mã thông báo chia một số ngôn ngữ thành nhiều mã thông báo hơn, điều đó ảnh hưởng như thế nào đến khoảng thời gian chi phí và ngữ cảnh cũng như cách kiểm tra và giảm khoảng cách.

Câu hỏi 1 của 8

Nguyên nhân chính gây ra khoảng cách lớn về số lượng mã thông báo giữa các ngôn ngữ là gì?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Nguyên nhân chính gây ra khoảng cách lớn về số lượng mã thông báo giữa các ngôn ngữ là gì?
    • Some languages are naturally ten times wordier than English
    • Tokenizers were built from training text dominated by English and a few other languages
    • Non-English text is compressed before tokenizing
    • Models charge extra fees for translation
  2. Tại sao các tập lệnh như Devanagari hay Thai thường tạo ra nhiều mã thông báo hơn theo trình mã thông báo dựa trên byte?
    • Their characters usually take three bytes each in UTF-8 and may be rarely merged
    • They are always written without spaces
    • They are converted to images first
    • Tokenizers reject them and replace them with English
  3. Điều nào trong số này KHÔNG phải là một trong ba tác động của số lượng mã thông báo cao hơn có tên trong hướng dẫn?
    • Higher cost per message
    • Less text fitting in the context window
    • Slower generation from more steps
    • Automatic refusal to answer
  4. Thuật ngữ sinh sản có ý nghĩa gì trong bối cảnh này?
    • How quickly a model learns a new language
    • The average number of tokens produced per word
    • The number of languages a model supports
    • Kích thước của tập dữ liệu huấn luyện
  5. OpenAI đã mô tả sự thay đổi gì khi phát hành GPT-4o vào năm 2024?
    • It stopped charging for non-English text
    • It removed its tokenizer entirely
    • It introduced a larger tokenizer that used fewer tokens for many non-English languages
    • It limited GPT-4o to English only
  6. What is the best first step to plan costs for a multilingual app?
    • Assume every language costs the same as English
    • Tokenize representative translated documents with your model's exact tokenizer and compare counts
    • Pick the cheapest model regardless of language
    • Translate all user messages into English first without testing
  7. What tradeoff comes with making a tokenizer's vocabulary larger?
    • It makes English text impossible to process
    • It increases the size of the embedding and output layers
    • Nó loại bỏ sự cần thiết của dữ liệu đào tạo
    • It always lowers model quality
  8. According to the guide, why is 'some languages are just wordier' a misconception?
    • All translations are exactly the same length
    • Wordiness has no effect on anything
    • Large token gaps come mainly from tokenizer design, not from the languages themselves
    • Tokenizers only count spaces