Gids-gekoppelde quiz · Middelmatig Niveau

Tokenizer-vrije modellen op byteniveau Quiz

Begrijp raw-byte-taalmodellen, de op entropie gebaseerde patches van BLT en de efficiëntie- en dekkingsafwegingen van het verwijderen van vaste token-vocabulaires.

Vraag 1 van 8

Wat leest een tokenizervrij byteniveaumodel als invoereenheden?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat leest een tokenizervrij byteniveaumodel als invoereenheden?
    • Ruwe bytes (UTF-8-waarden 0-255)
    • Woord-stuk-subwoorden uit een vast vocabulaire
    • Hele woorden gescheiden door spaties
    • Alleen vooraf berekende inbedding
  2. Wat is het belangrijkste praktische nadeel van het toevoeren van onbewerkte bytes aan een standaardtransformator?
    • Bytes kunnen geen niet-Engelse tekst vertegenwoordigen
    • De reeksen worden veel langer, waardoor de computerkosten stijgen
    • Er zijn te veel mogelijke bytewaarden om in te sluiten
    • Bytes verliezen permanent alle woordbetekenis
  3. Hoe beslist de Byte Latent Transformer (BLT) waar bytes in patches worden gegroepeerd?
    • Door te splitsen op elk spatieteken
    • Gebruikmakend van een vaste patchgrootte van 4 bytes
    • Gebaseerd op voorspellingsentropie op byteniveau (onzekerheid)
    • Willekeurig tijdens elke voorwaartse pass
  4. Waarom kan een vaste subwoordvocabulaire voor sommige talen meer tokens gebruiken dan voor andere?
    • Subword tokenizers only accept ASCII
    • All languages have identical token boundaries
    • They cannot represent numerals
    • Its token inventory may reflect the language distribution in the data used to build it
  5. Wat garandeert het verwijderen van een vaste tokenizer over invoer op byteniveau?
    • The same byte alphabet can represent text from different scripts, while learned language ability still depends on data
    • The model understands every language without training data
    • It guarantees equal performance for all scripts
    • The model no longer needs a vocabulary or learned embeddings
  6. Welk eerdere model demonstreerde verwerking op byteniveau, maar werd bekritiseerd omdat het traag was?
    • BERT
    • DoorT5
    • Woord2Vec
    • GPT-2
  7. What representations does BLT’s large global Transformer process?
    • Individual words from a fixed subword vocabulary only
    • Beeldpixels
    • Dynamically sized byte patches
    • Robot joint-angle commands
  8. Which components surround the global Transformer in BLT?
    • A reward model and a value network
    • A speech vocoder and a spectrogram
    • A camera and a lidar sensor
    • A local byte encoder and a local byte decoder