Quiz collegato alla guida · Medio Livello
Quiz sui modelli a livello di byte senza tokenizer
Comprendere i modelli linguistici a byte grezzi, le patch basate sull'entropia di BLT e i compromessi in termini di efficienza e copertura derivanti dalla rimozione dei vocabolari di token fissi.
Domanda 1 di 8
Cosa legge un modello a livello di byte privo di tokenizer come unità di input?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Cosa legge un modello a livello di byte privo di tokenizer come unità di input?
- Byte grezzi (valori UTF-8 0-255)
- Sottoparole di pezzi di parole da un vocabolario fisso
- Parole intere separate da spazi
- Solo incorporamenti precalcolati
- Qual è il principale svantaggio pratico di fornire byte grezzi a un trasformatore standard?
- I byte non possono rappresentare testo non inglese
- Le sequenze diventano molto più lunghe, aumentando i costi di elaborazione
- Sono presenti troppi valori di byte possibili da incorporare
- I byte perdono definitivamente il significato di ogni parola
- In che modo il Byte Latent Transformer (BLT) decide dove raggruppare i byte nelle patch?
- Dividendo su ogni carattere di spazio
- Utilizzando una dimensione di patch fissa di 4 byte
- Basato sull'entropia di previsione a livello di byte (incertezza)
- Casualmente durante ogni passaggio in avanti
- Why can a fixed subword vocabulary use more tokens for some languages than others?
- Subword tokenizers only accept ASCII
- All languages have identical token boundaries
- They cannot represent numerals
- Its token inventory may reflect the language distribution in the data used to build it
- What does removing a fixed tokenizer guarantee about byte-level input?
- The same byte alphabet can represent text from different scripts, while learned language ability still depends on data
- The model understands every language without training data
- It guarantees equal performance for all scripts
- The model no longer needs a vocabulary or learned embeddings
- Quale modello precedente dimostrava l'elaborazione a livello di byte ma è stato criticato per essere lento?
- BERT
- Da T5
- Word2Vec
- GPT-2
- What representations does BLT’s large global Transformer process?
- Individual words from a fixed subword vocabulary only
- Pixel dell'immagine
- Dynamically sized byte patches
- Robot joint-angle commands
- Which components surround the global Transformer in BLT?
- A reward model and a value network
- A speech vocoder and a spectrogram
- A camera and a lidar sensor
- A local byte encoder and a local byte decoder