Викторина, связанная с руководством · Средний Уровень

Викторина по моделям байтового уровня без токенизатора

Изучите модели языка с необработанными байтами, патчи BLT на основе энтропии, а также компромиссы в эффективности и покрытии при удалении словарей с фиксированными токенами.

Связанные направляющие путиМодели на уровне свободных байтов токенизатора
Вопрос 1 из 8

Что байтовая модель без токенизатора читает в качестве входных единиц?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Что байтовая модель без токенизатора читает в качестве входных единиц?
    • Необработанные байты (значения UTF-8 0–255)
    • Словосоставные подслова из устойчивого словаря
    • Целые слова, разделенные пробелами
    • Только предварительно вычисленные вложения
  2. Каков основной практический недостаток подачи необработанных байтов в стандартный преобразователь?
    • Байты не могут представлять текст, отличный от английского.
    • Последовательности становятся намного длиннее, что увеличивает стоимость вычислений.
    • Слишком много возможных значений байтов для встраивания
    • Байты навсегда теряют смысл слова
  3. Как Byte Latent Transformer (BLT) решает, где группировать байты в патчи?
    • Разделив каждый пробельный символ
    • Использование фиксированного размера патча в 4 байта.
    • На основе энтропии прогнозирования на уровне байтов (неопределенности)
    • Случайным образом во время каждого прохода вперед
  4. Why can a fixed subword vocabulary use more tokens for some languages than others?
    • Subword tokenizers only accept ASCII
    • All languages have identical token boundaries
    • They cannot represent numerals
    • Its token inventory may reflect the language distribution in the data used to build it
  5. What does removing a fixed tokenizer guarantee about byte-level input?
    • The same byte alphabet can represent text from different scripts, while learned language ability still depends on data
    • The model understands every language without training data
    • It guarantees equal performance for all scripts
    • The model no longer needs a vocabulary or learned embeddings
  6. Какая из более ранних моделей демонстрировала обработку на уровне байтов, но ее критиковали за медленную работу?
    • БЕРТ
    • ByT5
    • Word2Vec
    • ГПТ-2
  7. What representations does BLT’s large global Transformer process?
    • Individual words from a fixed subword vocabulary only
    • Пиксели изображения
    • Dynamically sized byte patches
    • Robot joint-angle commands
  8. Which components surround the global Transformer in BLT?
    • A reward model and a value network
    • A speech vocoder and a spectrogram
    • A camera and a lidar sensor
    • A local byte encoder and a local byte decoder