Викторина, связанная с руководством · Средний Уровень

Tokenization Disparities Across Languages Quiz

Tests why tokenizers split some languages into more tokens, how that affects cost and context windows, and how to audit and reduce the gap.

Связанные направляющие путиРазличия в токенизации между языками
Вопрос 1 из 8

Какова основная причина больших различий в количестве токенов между языками?