Вікторина, пов’язана з посібником · Середній Рівень

Тест моделей байтового рівня без Tokenizer

Зрозумійте мовні моделі необроблених байтів, патчі BLT на основі ентропії та компроміси ефективності та покриття від видалення фіксованих словників токенів.

Пов'язані напрямні шляхиБезкоштовні байтові моделі Tokenizer
Питання 1 з 8

Що читає модель байтового рівня без токенізера як свої вхідні одиниці?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Що читає модель байтового рівня без токенізера як свої вхідні одиниці?
    • Необроблені байти (значення UTF-8 0-255)
    • Складові підслова з усталеного словника
    • Цілі слова, розділені пробілами
    • Лише попередньо обчислені вбудовування
  2. Який основний практичний недолік подачі необроблених байтів на стандартний трансформатор?
    • Байти не можуть представляти неанглійський текст
    • Послідовності стають набагато довшими, що підвищує вартість обчислень
    • Забагато можливих значень байтів для вбудовування
    • Байти назавжди втрачають усі значення слів
  3. Як Byte Latent Transformer (BLT) вирішує, де групувати байти в патчі?
    • Розбиваючи кожен пробіл
    • Використання фіксованого розміру патча 4 байти
    • На основі ентропії передбачення на рівні байтів (невизначеність)
    • Довільно під час кожного проходу вперед
  4. Why can a fixed subword vocabulary use more tokens for some languages than others?
    • Subword tokenizers only accept ASCII
    • All languages have identical token boundaries
    • They cannot represent numerals
    • Its token inventory may reflect the language distribution in the data used to build it
  5. What does removing a fixed tokenizer guarantee about byte-level input?
    • The same byte alphabet can represent text from different scripts, while learned language ability still depends on data
    • The model understands every language without training data
    • It guarantees equal performance for all scripts
    • The model no longer needs a vocabulary or learned embeddings
  6. Яка з попередніх моделей продемонструвала обробку на рівні байтів, але її критикували за повільність?
    • БЕРТ
    • За Т5
    • Word2Vec
    • ГПТ-2
  7. What representations does BLT’s large global Transformer process?
    • Individual words from a fixed subword vocabulary only
    • Пікселі зображення
    • Dynamically sized byte patches
    • Robot joint-angle commands
  8. Which components surround the global Transformer in BLT?
    • A reward model and a value network
    • A speech vocoder and a spectrogram
    • A camera and a lidar sensor
    • A local byte encoder and a local byte decoder