Викторина, связанная с руководством · Средний Уровень
Викторина о различиях в токенизации между языками
Тестирует, почему токенизаторы разделяют некоторые языки на большее количество токенов, как это влияет на окна стоимости и контекста, а также как проводить аудит и сокращать разрыв.
Вопрос 1 из 8
Какова основная причина больших различий в количестве токенов между языками?
Предварительный просмотр каждого вопроса8 вопросы
Ответы и пояснения появляются по мере прохождения теста.
- Какова основная причина больших различий в количестве токенов между языками?
- Некоторые языки, естественно, в десять раз более многословны, чем английский.
- Токенизаторы были созданы на основе обучающего текста, в котором доминировали английский и несколько других языков.
- Неанглийский текст сжимается перед токенизацией.
- Модели взимают дополнительную плату за перевод.
- Почему такие скрипты, как Devanagari или Thai, часто создают больше токенов с помощью байтовых токенизаторов?
- Их символы обычно занимают по три байта каждый в UTF-8 и редко могут быть объединены.
- Они всегда пишутся без пробелов
- Сначала они конвертируются в изображения.
- Токенизаторы отклоняют их и заменяют английскими.
- Что из этого НЕ является одним из трех эффектов увеличения количества токенов, перечисленных в руководстве?
- Более высокая цена за сообщение
- Меньше текста помещается в контекстное окно
- Медленная генерация из-за большего количества шагов
- Автоматический отказ от ответа
- Что означает термин фертильность в этом контексте?
- Как быстро модель изучает новый язык
- Среднее количество токенов, произведенных на слово
- Количество языков, поддерживаемых моделью
- Размер набора обучающих данных
- Какие изменения описал OpenAI при выпуске GPT-4o в 2024 году?
- Он перестал взимать плату за текст, написанный не на английском языке.
- Он полностью удалил свой токенизатор
- Он представил более крупный токенизатор, который использовал меньше токенов для многих неанглийских языков.
- Он ограничил GPT-4o только английским языком.
- Как лучше всего спланировать расходы на многоязычное приложение?
- Предположим, что каждый язык стоит столько же, сколько английский.
- Токенизировать репрезентативные переведенные документы с помощью точного токенизатора вашей модели и сравнить количество
- Выбирайте самую дешевую модель независимо от языка.
- Сначала переведите все сообщения пользователей на английский без тестирования.
- Какой компромисс возникает при увеличении словарного запаса токенизатора?
- Это делает английский текст невозможным для обработки.
- Увеличивает размер слоев внедрения и вывода.
- Это устраняет необходимость в обучающих данных
- Это всегда снижает качество модели.
- По мнению руководства, почему утверждение «некоторые языки просто более многословны» является заблуждением?
- Все переводы имеют одинаковую длину
- Многословие ни на что не влияет
- Большие пробелы в токенах возникают в основном из-за конструкции токенизатора, а не из-за самих языков.
- Токенизаторы считают только пробелы