Тест по токенизации и кодированию пар байтов

Ответы и пояснения появляются по мере прохождения теста.

1. Что дает токенизация для чтения языковой модели?
   • Токены, представляющие собой целочисленные идентификаторы, сопоставленные с фрагментами текста.
   • Необработанные аудиосигналы
   • Пиксельные сетки
   • Скомпилированный машинный код
2. Как кодирование пар байтов формирует словарь?
   • Назначая один токен на целое слово в словаре
   • Путем многократного объединения наиболее часто встречающихся соседних пар символов.
   • Путем случайной группировки персонажей
   • Сначала переведя текст на другой язык
3. Какую проблему решают методы подслов, такие как BPE, по сравнению с токенизацией на уровне слов?
   • Они делают каждое предложение ровно одним токеном
   • Они устраняют необходимость в каком-либо словарном запасе.
   • Они обрабатывают редкие или невидимые слова, разбивая их на фрагменты, которые можно использовать повторно.
   • Они работают только на английском языке
4. В чем преимущество BPE на уровне байтов, используемого в моделях GPT?
   • Он использует меньше токенов, чем любой другой метод для всех языков.
   • Это устраняет необходимость обучения модели.
   • Он кодирует только английские буквы
   • Он может представлять любой текст в Юникоде, включая смайлы и любой язык, без ошибок, связанных с словарным запасом.
5. Почему количество токенов модели часто отличается от количества слов в предложении?
   • Пробелы, заглавные буквы и редкие слова меняют способ разделения текста, и одно слово может стать несколькими токенами.
   • Токены подсчитываются на случайном языке
   • Каждое слово всегда состоит ровно из двух токенов
   • Количество токенов зависит только от пунктуации
6. Из какого поля изначально был заимствован алгоритм кодирования пар байтов?
   • Рендеринг изображения
   • Сжатие данных
   • Индексирование базы данных
   • Криптография
7. After BPE training creates its vocabulary, what does an encoder use to tokenize new text?
   • A new merge ranking learned separately for each sentence
   • A dictionary of whole words only
   • The learned vocabulary and ordered merge rules applied to the input symbols
   • A translation table that changes the text language
8. Why can byte-level BPE encode a character it never saw as a whole token during training?
   • The tokenizer invents new model parameters for each character
   • It drops every unseen character
   • The model automatically translates it to English first
   • The UTF-8 input can be represented as a sequence of bytes from a finite base alphabet