Тест, свързан с ръководство · Среден Ниво

Тест за модели на байтово ниво без токенизатор

Разберете езиковите модели на необработени байтове, базираните на ентропия корекции на BLT и компромисите за ефективност и покритие от премахването на речници с фиксирани токени.

Свързани ръководни пътекиМодели на ниво на безплатни байтове на Tokenizer
Въпрос 1 на 8

Какво чете модел на байтово ниво без токенизатор като входни единици?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Какво чете модел на байтово ниво без токенизатор като входни единици?
    • Сурови байтове (UTF-8 стойности 0-255)
    • Поддуми от думи от фиксиран речник
    • Цели думи, разделени с интервали
    • Само предварително изчислени вграждания
  2. Какъв е основният практически недостатък на подаването на необработени байтове към стандартен трансформатор?
    • Байтовете не могат да представляват текст, който не е на английски
    • Последователностите стават много по-дълги, което повишава изчислителните разходи
    • Има твърде много възможни стойности на байтове за вграждане
    • Байтовете губят цялото значение на думата за постоянно
  3. Как Byte Latent Transformer (BLT) решава къде да групира байтовете в пачове?
    • Чрез разделяне на всеки интервал
    • Използване на фиксиран размер на корекцията от 4 байта
    • Въз основа на прогнозна ентропия на ниво байт (несигурност)
    • На случаен принцип по време на всяко подаване напред
  4. Why can a fixed subword vocabulary use more tokens for some languages than others?
    • Subword tokenizers only accept ASCII
    • All languages have identical token boundaries
    • They cannot represent numerals
    • Its token inventory may reflect the language distribution in the data used to build it
  5. What does removing a fixed tokenizer guarantee about byte-level input?
    • The same byte alphabet can represent text from different scripts, while learned language ability still depends on data
    • The model understands every language without training data
    • It guarantees equal performance for all scripts
    • The model no longer needs a vocabulary or learned embeddings
  6. Кой по-ранен модел демонстрира обработка на ниво байт, но беше критикуван, че е бавен?
    • БЕРТ
    • До Т5
    • Word2Vec
    • GPT-2
  7. What representations does BLT’s large global Transformer process?
    • Individual words from a fixed subword vocabulary only
    • Пиксели на изображението
    • Dynamically sized byte patches
    • Robot joint-angle commands
  8. Which components surround the global Transformer in BLT?
    • A reward model and a value network
    • A speech vocoder and a spectrogram
    • A camera and a lidar sensor
    • A local byte encoder and a local byte decoder