Тест, свързан с ръководство · Среден Ниво

Тест за токенизация и кодиране на двойки байтове

Тества идентификатори на токени, базирани на честота BPE сливания, покритие на ниво байт, ред на сливане и защо броят на токени се различава от броя на думите.

Свързани ръководни пътекиТокенизация и кодиране на двойки байтове
Въпрос 1 на 8

Какво произвежда токенизацията за четене на езиков модел?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Какво произвежда токенизацията за четене на езиков модел?
    • Токени, които са цели числа, съпоставени с части от текст
    • Необработени аудио вълни
    • Пикселни решетки
    • Компилиран машинен код
  2. Как кодирането на двойки байтове изгражда своя речник?
    • Чрез присвояване на една лексема на цяла дума в речник
    • Чрез многократно сливане на най-честата съседна двойка символи
    • Чрез произволно групиране на знаци
    • Като първо преведете текст на друг език
  3. Какъв проблем решават методите на поддуми като BPE в сравнение с токенизацията на ниво дума?
    • Те правят всяко изречение точно един жетон
    • Те премахват необходимостта от всякакъв речник
    • Те обработват редки или невиждани думи, като ги разделят на фрагменти за многократна употреба
    • Работят само за английски
  4. Какво е предимството на BPE на ниво байт, както се използва в GPT модели?
    • Той използва по-малко токени от всеки друг метод за всички езици
    • Това премахва необходимостта от обучение на модела
    • Той кодира само английски букви
    • Може да представлява всеки Unicode текст, включително емоджи и всеки език, без грешки извън речника
  5. Защо броят на токените на модела често се различава от броя на думите в изречението?
    • Интервалите, главните букви и редките думи променят начина на разделяне на текста и една дума може да се превърне в няколко токена
    • Токените се броят на случаен език
    • Всяка дума винаги е точно два токена
    • Броят на токените зависи само от препинателните знаци
  6. От кое поле първоначално е заимстван алгоритъмът за кодиране на двойки байтове?
    • Изобразяване на изображения
    • Компресиране на данни
    • Индексиране на бази данни
    • Криптография
  7. After BPE training creates its vocabulary, what does an encoder use to tokenize new text?
    • A new merge ranking learned separately for each sentence
    • A dictionary of whole words only
    • The learned vocabulary and ordered merge rules applied to the input symbols
    • A translation table that changes the text language
  8. Why can byte-level BPE encode a character it never saw as a whole token during training?
    • The tokenizer invents new model parameters for each character
    • It drops every unseen character
    • The model automatically translates it to English first
    • The UTF-8 input can be represented as a sequence of bytes from a finite base alphabet