Kvíz spojený s průvodcem · Střední úroveň
Kvíz o modelech na úrovni bajtů bez tokenizéru
Rozumějte jazykovým modelům nezpracovaných bajtů, záplatám BLT založeným na entropii a kompromisům v efektivitě a pokrytí při odstraňování pevných slovníků tokenů.
Otázka 1 z 8
Co čte model na úrovni bajtů bez tokenizeru jako své vstupní jednotky?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co čte model na úrovni bajtů bez tokenizeru jako své vstupní jednotky?
- Nezpracované bajty (hodnoty UTF-8 0–255)
- Slovní podslova z pevného slovníku
- Celá slova oddělená mezerami
- Pouze předem vypočítaná vložení
- Jaká je hlavní praktická nevýhoda přivádění nezpracovaných bajtů do standardního transformátoru?
- Bajty nemohou představovat neanglický text
- Sekvence jsou mnohem delší, což zvyšuje výpočetní náklady
- Existuje příliš mnoho možných hodnot bajtů pro vložení
- Bajty trvale ztratí veškerý význam slova
- Jak se Byte Latent Transformer (BLT) rozhodne, kde seskupit bajty do záplat?
- Rozdělením na každý znak mezery
- Použití fixní velikosti patche 4 bajty
- Na základě entropie predikce na úrovni bajtů (nejistota)
- Náhodně při každém průchodu vpřed
- Why can a fixed subword vocabulary use more tokens for some languages than others?
- Subword tokenizers only accept ASCII
- All languages have identical token boundaries
- They cannot represent numerals
- Its token inventory may reflect the language distribution in the data used to build it
- What does removing a fixed tokenizer guarantee about byte-level input?
- The same byte alphabet can represent text from different scripts, while learned language ability still depends on data
- The model understands every language without training data
- It guarantees equal performance for all scripts
- The model no longer needs a vocabulary or learned embeddings
- Který dřívější model demonstroval zpracování na úrovni bajtů, ale byl kritizován za to, že je pomalý?
- BERT
- ByT5
- Word2Vec
- GPT-2
- What representations does BLT’s large global Transformer process?
- Individual words from a fixed subword vocabulary only
- Obrazové pixely
- Dynamically sized byte patches
- Robot joint-angle commands
- Which components surround the global Transformer in BLT?
- A reward model and a value network
- A speech vocoder and a spectrogram
- A camera and a lidar sensor
- A local byte encoder and a local byte decoder