Quiz collegato alla guida · Medio Livello

Quiz sui modelli a livello di byte senza tokenizer

Comprendere i modelli linguistici a byte grezzi, le patch basate sull'entropia di BLT e i compromessi in termini di efficienza e copertura derivanti dalla rimozione dei vocabolari di token fissi.

Domanda 1 di 8

Cosa legge un modello a livello di byte privo di tokenizer come unità di input?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Cosa legge un modello a livello di byte privo di tokenizer come unità di input?
    • Byte grezzi (valori UTF-8 0-255)
    • Sottoparole di pezzi di parole da un vocabolario fisso
    • Parole intere separate da spazi
    • Solo incorporamenti precalcolati
  2. Qual è il principale svantaggio pratico di fornire byte grezzi a un trasformatore standard?
    • I byte non possono rappresentare testo non inglese
    • Le sequenze diventano molto più lunghe, aumentando i costi di elaborazione
    • Sono presenti troppi valori di byte possibili da incorporare
    • I byte perdono definitivamente il significato di ogni parola
  3. In che modo il Byte Latent Transformer (BLT) decide dove raggruppare i byte nelle patch?
    • Dividendo su ogni carattere di spazio
    • Utilizzando una dimensione di patch fissa di 4 byte
    • Basato sull'entropia di previsione a livello di byte (incertezza)
    • Casualmente durante ogni passaggio in avanti
  4. Why can a fixed subword vocabulary use more tokens for some languages than others?
    • Subword tokenizers only accept ASCII
    • All languages have identical token boundaries
    • They cannot represent numerals
    • Its token inventory may reflect the language distribution in the data used to build it
  5. What does removing a fixed tokenizer guarantee about byte-level input?
    • The same byte alphabet can represent text from different scripts, while learned language ability still depends on data
    • The model understands every language without training data
    • It guarantees equal performance for all scripts
    • The model no longer needs a vocabulary or learned embeddings
  6. Quale modello precedente dimostrava l'elaborazione a livello di byte ma è stato criticato per essere lento?
    • BERT
    • Da T5
    • Word2Vec
    • GPT-2
  7. What representations does BLT’s large global Transformer process?
    • Individual words from a fixed subword vocabulary only
    • Pixel dell'immagine
    • Dynamically sized byte patches
    • Robot joint-angle commands
  8. Which components surround the global Transformer in BLT?
    • A reward model and a value network
    • A speech vocoder and a spectrogram
    • A camera and a lidar sensor
    • A local byte encoder and a local byte decoder