Вікторина, пов’язана з посібником · Середній Рівень

Тест про токенізацію та кодування пари байтів

Тестує ідентифікатори маркерів, злиття BPE на основі частоти, покриття на рівні байтів, порядок злиття та чому кількість маркерів відрізняється від кількості слів.

Пов'язані напрямні шляхиТокенізація та кодування пар байтів
Питання 1 з 8

Що створює токенізація для читання мовної моделі?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Що створює токенізація для читання мовної моделі?
    • Токени, які є цілими ідентифікаторами, зіставленими з фрагментами тексту
    • Необроблені звукові сигнали
    • Піксельні сітки
    • Скомпільований машинний код
  2. Як кодування пари байтів створює свій словниковий запас?
    • Призначаючи одну лексему на ціле слово в словнику
    • Шляхом багаторазового об’єднання найчастішої суміжної пари символів
    • Шляхом випадкового групування символів
    • Спочатку перекладаючи текст на іншу мову
  3. Яку проблему вирішують такі методи підслів, як BPE, порівняно з токенізацією на рівні слів?
    • Вони роблять кожне речення рівно одним маркером
    • Вони усувають потребу в будь-якому словниковому запасі
    • Вони обробляють рідкісні або невидимі слова, розділяючи їх на багаторазові фрагменти
    • Вони працюють лише для англійської мови
  4. У чому перевага BPE на рівні байтів, що використовується в моделях GPT?
    • Він використовує менше маркерів, ніж будь-який інший метод для всіх мов
    • Це позбавляє від необхідності тренувати модель
    • Він кодує лише англійські літери
    • Він може представляти будь-який текст Unicode, включаючи емодзі та будь-яку мову, без помилок поза словниковим запасом
  5. Чому кількість токенів моделі часто відрізняється від кількості слів у реченні?
    • Пробіли, великі літери та рідкісні слова змінюють спосіб поділу тексту, і одне слово може стати кількома маркерами
    • Жетони підраховуються випадковою мовою
    • Кожне слово — це завжди рівно дві лексеми
    • Кількість токенів залежить лише від пунктуації
  6. З якого поля спочатку було запозичено алгоритм кодування пари байтів?
    • Візуалізація зображень
    • Стиснення даних
    • Індексація бази даних
    • Криптографія
  7. After BPE training creates its vocabulary, what does an encoder use to tokenize new text?
    • A new merge ranking learned separately for each sentence
    • A dictionary of whole words only
    • The learned vocabulary and ordered merge rules applied to the input symbols
    • A translation table that changes the text language
  8. Why can byte-level BPE encode a character it never saw as a whole token during training?
    • The tokenizer invents new model parameters for each character
    • It drops every unseen character
    • The model automatically translates it to English first
    • The UTF-8 input can be represented as a sequence of bytes from a finite base alphabet