Gids-gekoppelde quiz · Middelmatig Niveau
Tokenizer-vrije modellen op byteniveau Quiz
Begrijp raw-byte-taalmodellen, de op entropie gebaseerde patches van BLT en de efficiëntie- en dekkingsafwegingen van het verwijderen van vaste token-vocabulaires.
Vraag 1 van 8
Wat leest een tokenizervrij byteniveaumodel als invoereenheden?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat leest een tokenizervrij byteniveaumodel als invoereenheden?
- Ruwe bytes (UTF-8-waarden 0-255)
- Woord-stuk-subwoorden uit een vast vocabulaire
- Hele woorden gescheiden door spaties
- Alleen vooraf berekende inbedding
- Wat is het belangrijkste praktische nadeel van het toevoeren van onbewerkte bytes aan een standaardtransformator?
- Bytes kunnen geen niet-Engelse tekst vertegenwoordigen
- De reeksen worden veel langer, waardoor de computerkosten stijgen
- Er zijn te veel mogelijke bytewaarden om in te sluiten
- Bytes verliezen permanent alle woordbetekenis
- Hoe beslist de Byte Latent Transformer (BLT) waar bytes in patches worden gegroepeerd?
- Door te splitsen op elk spatieteken
- Gebruikmakend van een vaste patchgrootte van 4 bytes
- Gebaseerd op voorspellingsentropie op byteniveau (onzekerheid)
- Willekeurig tijdens elke voorwaartse pass
- Waarom kan een vaste subwoordvocabulaire voor sommige talen meer tokens gebruiken dan voor andere?
- Subword tokenizers only accept ASCII
- All languages have identical token boundaries
- They cannot represent numerals
- Its token inventory may reflect the language distribution in the data used to build it
- Wat garandeert het verwijderen van een vaste tokenizer over invoer op byteniveau?
- The same byte alphabet can represent text from different scripts, while learned language ability still depends on data
- The model understands every language without training data
- It guarantees equal performance for all scripts
- The model no longer needs a vocabulary or learned embeddings
- Welk eerdere model demonstreerde verwerking op byteniveau, maar werd bekritiseerd omdat het traag was?
- BERT
- DoorT5
- Woord2Vec
- GPT-2
- What representations does BLT’s large global Transformer process?
- Individual words from a fixed subword vocabulary only
- Beeldpixels
- Dynamically sized byte patches
- Robot joint-angle commands
- Which components surround the global Transformer in BLT?
- A reward model and a value network
- A speech vocoder and a spectrogram
- A camera and a lidar sensor
- A local byte encoder and a local byte decoder