Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Tokenizátor-mentes bájtszintű modellek kvíz
Understand raw-byte language models, BLT’s entropy-based patches, and the efficiency and coverage tradeoffs of removing fixed token vocabularies.
kérdés 1 -ból 8
Mit olvas egy tokenizátor nélküli bájtszintű modell bemeneti egységeként?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mit olvas egy tokenizátor nélküli bájtszintű modell bemeneti egységeként?
- Nyers bájtok (UTF-8 értékek 0-255)
- Szódarab részszavak rögzített szókincsből
- Egész szavak szóközzel elválasztva
- Csak előre kiszámított beágyazások
- Mi a fő gyakorlati hátránya a nyers bájtok szabványos transzformátorba való betáplálásának?
- A bájtok nem jelenthetnek nem angol szöveget
- A sorozatok sokkal hosszabbak lesznek, ami növeli a számítási költségeket
- Túl sok lehetséges bájtérték beágyazható
- A bájtok végleg elvesztik minden szó jelentését
- Hogyan dönti el a Byte Latent Transformer (BLT), hogy hol csoportosítsa a bájtokat javításokba?
- Minden szóköz karakterre osztva
- Rögzített, 4 bájtos foltméret használata
- Bájtszintű előrejelzési entrópia (bizonytalanság) alapján
- Véletlenszerűen minden előrepassz során
- Why can a fixed subword vocabulary use more tokens for some languages than others?
- Subword tokenizers only accept ASCII
- All languages have identical token boundaries
- They cannot represent numerals
- Its token inventory may reflect the language distribution in the data used to build it
- What does removing a fixed tokenizer guarantee about byte-level input?
- The same byte alphabet can represent text from different scripts, while learned language ability still depends on data
- The model understands every language without training data
- It guarantees equal performance for all scripts
- The model no longer needs a vocabulary or learned embeddings
- Melyik korábbi modell mutatta be a bájtszintű feldolgozást, de kritizálták lassúsága miatt?
- BERT
- ByT5
- Word2Vec
- GPT-2
- What representations does BLT’s large global Transformer process?
- Individual words from a fixed subword vocabulary only
- Képpontok
- Dynamically sized byte patches
- Robot joint-angle commands
- Which components surround the global Transformer in BLT?
- A reward model and a value network
- A speech vocoder and a spectrogram
- A camera and a lidar sensor
- A local byte encoder and a local byte decoder