Questionário vinculado ao guia · Médio Nível

Questionário sobre modelos de nível de byte sem tokenizer

Entenda os modelos de linguagem de bytes brutos, os patches baseados em entropia do BLT e as compensações de eficiência e cobertura da remoção de vocabulários de tokens fixos.

Caminhos de guia relacionadosModelos de nível de byte livre de tokenizador
Pergunta 1 de 8

O que um modelo de nível de byte sem tokenizer lê como suas unidades de entrada?

Visualize cada pergunta8 perguntas

As respostas e explicações aparecem conforme você responde ao teste.

  1. O que um modelo de nível de byte sem tokenizer lê como suas unidades de entrada?
    • Bytes brutos (valores UTF-8 0-255)
    • Subpalavras de palavras de um vocabulário fixo
    • Palavras inteiras separadas por espaços
    • Somente incorporações pré-computadas
  2. Qual é a principal desvantagem prática de alimentar bytes brutos em um transformador padrão?
    • Bytes não podem representar texto que não seja em inglês
    • As sequências tornam-se muito mais longas, aumentando o custo de computação
    • Existem muitos valores de bytes possíveis para incorporar
    • Bytes perdem todo o significado das palavras permanentemente
  3. Como o Byte Latent Transformer (BLT) decide onde agrupar os bytes em patches?
    • Ao dividir em cada caractere de espaço
    • Usando um tamanho de patch fixo de 4 bytes
    • Com base na entropia de previsão em nível de byte (incerteza)
    • Aleatoriamente durante cada passagem para frente
  4. Por que um vocabulário fixo de subpalavras pode usar mais tokens para alguns idiomas do que para outros?
    • Subword tokenizers only accept ASCII
    • All languages have identical token boundaries
    • They cannot represent numerals
    • Its token inventory may reflect the language distribution in the data used to build it
  5. O que a remoção de um tokenizer fixo garante sobre a entrada em nível de byte?
    • The same byte alphabet can represent text from different scripts, while learned language ability still depends on data
    • The model understands every language without training data
    • It guarantees equal performance for all scripts
    • The model no longer needs a vocabulary or learned embeddings
  6. Qual modelo anterior demonstrou processamento em nível de byte, mas foi criticado por ser lento?
    • BERTO
    • PorT5
    • Word2Vec
    • GPT-2
  7. What representations does BLT’s large global Transformer process?
    • Individual words from a fixed subword vocabulary only
    • Pixels de imagem
    • Dynamically sized byte patches
    • Robot joint-angle commands
  8. Which components surround the global Transformer in BLT?
    • A reward model and a value network
    • A speech vocoder and a spectrogram
    • A camera and a lidar sensor
    • A local byte encoder and a local byte decoder