Test legat de ghid · Mediu Nivel

Testul de modele la nivel de octeți fără tokenizer

Înțelegeți modelele de limbaj pe octeți bruti, patch-urile bazate pe entropie ale BLT și compromisurile de eficiență și acoperire ale eliminării vocabularelor de jetoane fixe.

Căi de ghidare aferenteModele la nivel de octet gratuit Tokenizer
Întrebare 1 de 8

Ce citește un model la nivel de octeți fără tokenizer ca unități de intrare?

Previzualizează fiecare întrebare8 întrebări

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

  1. Ce citește un model la nivel de octeți fără tokenizer ca unități de intrare?
    • Octeți bruti (valori UTF-8 0-255)
    • Subcuvinte din bucăți de cuvinte dintr-un vocabular fix
    • Cuvinte întregi separate prin spații
    • Numai înglobări precalculate
  2. Care este principalul dezavantaj practic al alimentării octeților bruti la un transformator standard?
    • Octeții nu pot reprezenta text non-englez
    • Secvențele devin mult mai lungi, crescând costul de calcul
    • Există prea multe valori posibile de octet de încorporat
    • Octeții pierd definitiv tot sensul cuvântului
  3. Cum decide Byte Latent Transformer (BLT) unde să grupeze octeții în patch-uri?
    • Prin împărțirea fiecărui caracter de spațiu
    • Folosind o dimensiune fixă a patch-ului de 4 octeți
    • Pe baza entropiei de predicție la nivel de octeți (incertitudine)
    • Aleatoriu în timpul fiecărei treceri înainte
  4. Why can a fixed subword vocabulary use more tokens for some languages than others?
    • Subword tokenizers only accept ASCII
    • All languages have identical token boundaries
    • They cannot represent numerals
    • Its token inventory may reflect the language distribution in the data used to build it
  5. What does removing a fixed tokenizer guarantee about byte-level input?
    • The same byte alphabet can represent text from different scripts, while learned language ability still depends on data
    • The model understands every language without training data
    • It guarantees equal performance for all scripts
    • The model no longer needs a vocabulary or learned embeddings
  6. Care model anterior a demonstrat procesarea la nivel de octet, dar a fost criticat pentru că este lent?
    • BERT
    • Prin T5
    • Word2Vec
    • GPT-2
  7. What representations does BLT’s large global Transformer process?
    • Individual words from a fixed subword vocabulary only
    • Pixeli de imagine
    • Dynamically sized byte patches
    • Robot joint-angle commands
  8. Which components surround the global Transformer in BLT?
    • A reward model and a value network
    • A speech vocoder and a spectrogram
    • A camera and a lidar sensor
    • A local byte encoder and a local byte decoder