Викторина, связанная с руководством · Средний Уровень

Викторина о различиях в токенизации между языками

Тестирует, почему токенизаторы разделяют некоторые языки на большее количество токенов, как это влияет на окна стоимости и контекста, а также как проводить аудит и сокращать разрыв.

Связанные направляющие путиРазличия в токенизации между языками
Вопрос 1 из 8

Какова основная причина больших различий в количестве токенов между языками?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Какова основная причина больших различий в количестве токенов между языками?
    • Некоторые языки, естественно, в десять раз более многословны, чем английский.
    • Токенизаторы были созданы на основе обучающего текста, в котором доминировали английский и несколько других языков.
    • Неанглийский текст сжимается перед токенизацией.
    • Модели взимают дополнительную плату за перевод.
  2. Почему такие скрипты, как Devanagari или Thai, часто создают больше токенов с помощью байтовых токенизаторов?
    • Их символы обычно занимают по три байта каждый в UTF-8 и редко могут быть объединены.
    • Они всегда пишутся без пробелов
    • Сначала они конвертируются в изображения.
    • Токенизаторы отклоняют их и заменяют английскими.
  3. Что из этого НЕ является одним из трех эффектов увеличения количества токенов, перечисленных в руководстве?
    • Более высокая цена за сообщение
    • Меньше текста помещается в контекстное окно
    • Медленная генерация из-за большего количества шагов
    • Автоматический отказ от ответа
  4. Что означает термин фертильность в этом контексте?
    • Как быстро модель изучает новый язык
    • Среднее количество токенов, произведенных на слово
    • Количество языков, поддерживаемых моделью
    • Размер набора обучающих данных
  5. Какие изменения описал OpenAI при выпуске GPT-4o в 2024 году?
    • Он перестал взимать плату за текст, написанный не на английском языке.
    • Он полностью удалил свой токенизатор
    • Он представил более крупный токенизатор, который использовал меньше токенов для многих неанглийских языков.
    • Он ограничил GPT-4o только английским языком.
  6. Как лучше всего спланировать расходы на многоязычное приложение?
    • Предположим, что каждый язык стоит столько же, сколько английский.
    • Токенизировать репрезентативные переведенные документы с помощью точного токенизатора вашей модели и сравнить количество
    • Выбирайте самую дешевую модель независимо от языка.
    • Сначала переведите все сообщения пользователей на английский без тестирования.
  7. Какой компромисс возникает при увеличении словарного запаса токенизатора?
    • Это делает английский текст невозможным для обработки.
    • Увеличивает размер слоев внедрения и вывода.
    • Это устраняет необходимость в обучающих данных
    • Это всегда снижает качество модели.
  8. По мнению руководства, почему утверждение «некоторые языки просто более многословны» является заблуждением?
    • Все переводы имеют одинаковую длину
    • Многословие ни на что не влияет
    • Большие пробелы в токенах возникают в основном из-за конструкции токенизатора, а не из-за самих языков.
    • Токенизаторы считают только пробелы